Curs de pregatire Optimizarea performanței rețelelor neuronale cu CANN SDK

Prezentarea capabilităților de optimizare CANN

• Cum este gestionată performanța de inferență în CANN
• Obiective de optimizare pentru sistemele AI edge și embedded
• Înțelegerea utilizării AI Core și a alocării memoriei

Folosirea Graph Engine pentru analiză

• Introducere în Graph Engine și pipeline-ul de execuție
• Vizualizarea grafurilor de operatori și a metricilor de runtime
• Modificarea grafurilor de calcul pentru optimizare

Instrumente de profiling și metrici de performanță

• Folosirea CANN Profiling Tool (profiler) pentru analiza workload-ului
• Analiza timpului de execuție al kernel-ului și a blocajelor
• Profilingul accesului la memorie și strategii de tiling

Dezvoltarea de operatori personalizați cu TIK

• Prezentarea TIK și a modelului de programare a operatorilor
• Implementarea unui operator personalizat folosind TIK DSL
• Testarea și benchmarkingul performanței operatorului

Optimizarea avansată a operatorilor cu TVM

• Introducere în integrarea TVM cu CANN
• Strategii de auto-tuning pentru grafurile de calcul
• Când și cum să comuți între TVM și TIK

Tehnici de optimizare a memoriei

• Gestionarea layout-ului memoriei și a plasării bufferelor
• Tehnici pentru reducerea consumului de memorie on-chip
• Bune practici pentru execuția asincronă și reutilizare

Implementare în lumea reală și studii de caz

• Studiu de caz: tuning de performanță pentru pipeline-ul de camere smart city
• Studiu de caz: optimizarea stack-ului de inferență pentru vehicule autonome
• Ghiduri pentru profiling iterativ și îmbunătățire continuă

Rezumat și pașii următori