Schița de curs

Introducere în Dezvoltarea Operatorilor Personalizați

  • De ce construi operatori personalizați? Use case-uri și restricții
  • Structura runtime-ului CANN și punctele de integrare a operatorilor
  • Prezentare generală a TBE, TIK și TVM în ecosistemul AI Huawei

Utilizarea TIK pentru Operatori la Nivel Mic Programming

  • Comprehensia modelului de programare TIK și API-urile suportate
  • Gestionarea memoriei și strategia tiling în TIK
  • Crearea, compilarea și înregistrarea unui operator personalizat cu CANN

Testare și Validare a Operatorilor Personalizați

  • Teste unitare și integrate ale op-urilor în grafic
  • Depanarea problemelor de performanță la nivel de kernel
  • Visualizarea execuției op și comportamentului buffer-ului

Programare și Optimizare bazată pe TVM

  • Prezentare generală a lui TVM ca compilator pentru operațiuni tensoriale
  • Scrierea unei plăni de programare pentru un op personalizat în TVM
  • Tuning-ul, benchmark-ului și generarea codului cu TVM pentru Ascend

Integrare cu Framework-uri și Modele

  • Înregistrarea operatorilor personalizați pentru MindSpore și ONNX
  • Verificarea integrității modelelor și comportamentului fallback
  • Suportul graficelor cu mai mulți operatori la precizie mixtă

Studii de caz și Optimizări Specializate

  • Studiu de caz: convoluție de eficiență ridicată pentru dimensiuni mici ale input-ului
  • Studiu de caz: optimizarea operatorului de atenție cu conștiința memoriei
  • Cele mai bune practici în implementarea operatorilor personalizați pe diferite dispozitive

Rezumat și Următoarele Pași

Cerințe

  • Cunoștințe solide despre internele modelelor AI și computarea la nivel de operatori
  • Experiență cu mediile de dezvoltare Python și Linux
  • Cunoștințe despre compilatoare pentru rețele neuronale sau optimizatori la nivelul grafului

Publicul țintă

  • Inginerii compilatorului care lucrează la lanțurile de instrumente AI
  • Dezvoltatorii sistemelor concentrându-se pe optimizarea la nivel mic pentru AI
  • Dezvoltatorii construiți operatori personalizați sau își trag lucrări noi în domeniul AI
 14 ore

Numărul de participanți


Pret per participant

Upcoming Courses

Categorii înrudite