Schița de curs

Prezentare generală a Capabilităților de Optimizare CANN

  • Cum este gestionată performanța de inferență în CANN
  • Obiective de optimizare pentru sistemele AI de margine și embedded
  • Înțelegerea utilizării AI Core și alocării memoriei

Folosirea Graph Engine pentru Analiză

  • Introducere în Graph Engine și pipeline-ul de execuție
  • Vizualizarea graficelor operatorilor și a metricilor de runtime
  • Modificarea graficelor de calcul pentru optimizare

Instrumente de Profilare și Metrici de Performanță

  • Folosirea CANN Profiling Tool (profiler) pentru analiza sarcinilor de lucru
  • Analiza timpului de execuție al kernelului și a gâturilor de gură
  • Profilarea accesului la memorie și strategii de tiling

Dezvoltarea Operatorilor Personalizați cu TIK

  • Prezentare generală a TIK și a modelului de programare a operatorilor
  • Implementarea unui operator personalizat folosind TIK DSL
  • Testarea și evaluarea performanței operatorilor

Optimizare Avansată a Operatorilor cu TVM

  • Introducere în integrarea TVM cu CANN
  • Strategii de auto-reglare pentru grafice de calcul
  • Când și cum să treci între TVM și TIK

Tehnici de Optimizare a Memoriei

  • Gestionarea layout-ului de memorie și plasarea bufferelor
  • Tehnici pentru reducerea consumului de memorie on-chip
  • Bune practici pentru execuția asincronă și reutilizare

Implementare în Lumea Reală și Studii de Caz

  • Studiu de caz: reglarea performanței pentru pipeline-ul camerelor din orașele inteligente
  • Studiu de caz: optimizarea stivei de inferență pentru vehicule autonome
  • Ghiduri pentru profilarea iterativă și îmbunătățirea continuă

Rezumat și Pași Următori

Cerințe

  • Înțelegere solidă a arhitecturilor modelelor de învățare profundă și a fluxurilor de lucru de antrenare
  • Experiență în implementarea modelelor folosind CANN, TensorFlow sau PyTorch
  • Familiaritate cu CLI Linux, scripturi shell și programare în Python

Audiență

  • Ingineri de performanță AI
  • Specialiști în optimizarea inferenței
  • Dezvoltatori care lucrează cu AI de margine sau sisteme în timp real
 14 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite