Schița de curs

Introducere în Huawei CloudMatrix

  • Ecosistemul și fluxul de implementare al CloudMatrix
  • Modele, formate și moduri de implementare suportate
  • Cazuri de utilizare tipice și chip-uri suportate

Prepararea Modelului pentru Implementare

  • Exportul modelului din instrumentele de antrenament (MindSpore, TensorFlow, PyTorch)
  • Utilizarea ATC (Ascend Tensor Compiler) pentru conversia formatelor
  • Modele cu formă statică vs. dinamică

Implementare în CloudMatrix

  • Crearea serviciilor și înregistrarea modelului
  • Implementarea serviciilor de inferență prin interfața utilizator sau CLI
  • Enrutare, autentificare și control de acces

Servirea Cererilor de Inferență

  • Fluxuri de inferență în loturi vs. în timp real
  • Pipeline-uri pentru preprocesarea și post-procesarea datelor
  • Apelul serviciilor CloudMatrix din aplicațiile externe

Monitorizare și Optimizare a Performanței

  • Jurnalele de implementare și urmărirea cererilor
  • Scalarea resurselor și echilibrarea sarcinii
  • Optimizarea latentei și a capacității de flux

Integrare cu Uneltele Enterprize

  • Conectarea CloudMatrix la OBS și ModelArts
  • Utilizarea workflow-urilor și versiunii modelului
  • CI/CD pentru implementarea și revenirea modelului

Pipeline End-to-End de Inferență

  • Implementarea unei pipeleine-uri complete de clasificare a imaginilor
  • Benchmarking și validarea preciziei
  • Simularea trecerii la rezerve și alertelor sistemului

Rezumat și Pași Următori

Cerințe

  • Oțelirea fluxurilor de lucru pentru antrenarea modelelor AI
  • Experiență cu cadrul ML bazat pe Python
  • Cunoștințe de bază despre conceptele de implementare în cloud

Publicul vizat

  • Echipele AI ops
  • Inginerii de machine learning
  • Specialiștii în implementare cloud care lucrează cu infrastructura Huawei
 21 ore

Numărul de participanți


Pret per participant

Mărturii (1)

Upcoming Courses

Categorii înrudite