Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Schița de curs
Prezentare generală a capacităților de optimizare CANN
- Cum se gestionează performanța inferenței în CANN
- Obiectivele de optimizare pentru sisteme AI la marginea rețelei și integrarea
- Comprehesionarea utilizării AI Core și alocării memoriei
Folosirea Motorului Grafic pentru Analiză
- Introducere în Motorul Grafic și pipeline-ul de execuție
- Vizualizarea graficelor operatorilor și metricilor runtime
- Modificarea grafului computational pentru optimizare
Instrumente de profilaj și metrice de performanță
- Folosirea instrumentului de profilaj CANN (profiler) pentru analiza sarcinii de lucru
- Analizarea timpului de execuție al nucleelor și a constrângerilor
- Profilajul accesului la memorie și strategiile de tiling
Dezvoltarea operatorilor personalizați cu TIK
- Prezentare generală a TIK și modelului de programare al operatorilor
- Implementarea unui operator personalizat folosind DSL-ul TIK
- Testarea și benchmarkul performanței operatorului
Optimizarea avansată a operatorilor cu TVM
- Introducere în integrarea lui TVM cu CANN
- Strategii de auto-tuning pentru graful computational
- Când și cum să treceți între TVM și TIK
Tehnici de optimizare a memoriei
- Gestionarea structurii de memorie și allocării buffer-elor
- Tehnice pentru reducerea consumului de memorie pe chip
- Practici recomandate pentru execuția asincronă și reutilizarea
Deploy real-world și studii de caz
- Studiu de caz: ajustarea performanței pentru pipeline-ul de camere inteligente în orașul inteligență artificială
- Studiu de caz: optimizarea pilotei de inferență pentru vehicule autonome
- Directivile pentru profilaj iterativ și îmbunătățiri continue
Synopsis și următoarele pași
Cerințe
- Compreensiune puternică a arhitecturilor de modele de învățare profundă și fluxurilor de lucru de antrenament
- Experiență cu deployul de modele folosind CANN, TensorFlow sau PyTorch
- Familiaritate cu CLI-ul Linux, scripting shell și programare Python
Audienta
- Ingineri de performanță AI
- Specialiști în optimizarea inferenței
- Dezvoltatori care lucrează cu AI la bord sau sisteme timp real
Optimizarea Performanței Rețelelor Neurale cu CANN SDK
CANN SDK (Compute Architecture for Neural Networks) este baza de calcul AI a Huawei care permite dezvoltatorilor să afineze și să optimizeze performanța modelelor neuronale depuse pe procesorii AI Ascend.
Acest curs guiți (în direct sau online) se adresează dezvoltatorilor avansați AI și inginerilor de sistem care doresc să optimizeze performanța inferenței folosind setul avansat de instrumente al CANN, inclusiv Graph Engine, TIK și dezvoltarea operatorilor personalizați.
La sfârșitul acestui curs, participanții vor putea:
- Să înțeleagă arhitectura runtime și ciclul de viață al performanței din CANN.
- Să folosească instrumentele de profilare și Graph Engine pentru analiza și optimizarea performanței.
- Să creeze și să optimizeze operatorii personalizați folosind TIK și TVM.
- Să rezolve bocagele memoriilor și să îmbunătățească fluxul modelului.
Format al cursului
- Lecție interactivă și discuții.
- Labe-uri cu profilare timp real și ajustarea operatorilor.
- Ejerciții de optimizare folosind exemple ale depunerii în cazuri speciale.
Opțiuni pentru personalizarea cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja detaliile.
Prezentare de Capabilitățile de Optimizare CANN
- Cum se gestionează performanța inferenței în CANN
- Obiectivele de optimizare pentru sisteme AI la bord și integrate
- Ințelegerea utilizării AI Core și alocării memoriei
Folosirea Graph Engine Pentru Analiza
- Introducere în Graph Engine și pipeline-ul de execuție
- Vizualizarea grafului operatorilor și metricele runtime
- Modificarea grafurilor computaționale pentru optimizare
Instrumentele De Profilare și Metricele Performanței
- Folosirea CANN Tool de Profilare (profiler) pentru analiza sarcinii de lucru
- Analiza timpului de execuție al nucleelor și bocagelui
- Profilarea accesului la memorie și strategiile tiling
Dezvoltarea Operatorilor Personalizați cu TIK
- Pregătirea de bază a TIK și modelului de programare al operatorului
- Implementarea unui operator personalizat folosind DSL-ul TIK
- Testează și benchmark-ez performanța operatorului
Optimizarea Avansată a Operatorilor cu TVM
- Introducere în integrarea TVM cu CANN
- Strategii de tunare automată pentru grafurile computaționale
- Când și cum să treci între TVM și TIK
Tehnici de Optimizare a Memoriei
- Gestionarea dispoziției memoriei și allocării buffer-ului
- Tehnici pentru reducerea consumului de memorie pe chip
- Practici bune pentru execuția asincronă și reutilizarea
Distribuirea în Lume Reală și Studii de caz
- Studiu de caz: ajustarea performanței pentru pipeline-ul de camerele orașului inteligent
- Studiu de caz: optimizarea pilotei inferențe a vehiculelor autonome
- Direcțiuni pentru profilare iterativă și îmbunătățiri continue
Sinteză și Următorii Pași
14 ore
