Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Concepte și metrici de performanță
- Latență, throughput, consum de energie, utilizarea resurselor
- Blocaje la nivel de sistem vs. la nivel de model
- Profiling pentru inferență vs. antrenare
Profiling pe Huawei Ascend
- Utilizarea CANN Profiler și MindInsight
- Diagnosticare la nivel de kernel și operator
- Tipare de offload și maparea memoriei
Profiling pe Biren GPU
- Funcționalități de monitorizare a performanței din Biren SDK
- Fuziune de kernel-uri, alinierea memoriei și cozi de execuție
- Profiling conștient de consumul de energie și temperatură
Profiling pe Cambricon MLU
- Instrumente de performanță BANGPy și Neuware
- Vizibilitate la nivel de kernel și interpretarea log-urilor
- Integrarea profiler-ului MLU cu framework-urile de deployment
Optimizare la nivel de graf și de model
- Strategii de pruning al grafului și cuantizare
- Fuziunea operatorilor și restructurarea grafului computațional
- Standardizarea dimensiunii input-ului și tuning al batch-ului
Optimizarea memoriei și a kernel-urilor
- Optimizarea layout-ului și reutilizării memoriei
- Gestionarea eficientă a buffer-elor între chipset-uri
- Tehnici de tuning la nivel de kernel pentru fiecare platformă
Bune practici cross-platform
- Portabilitatea performanței: strategii de abstractizare
- Construirea unor pipeline-uri de tuning partajate pentru medii multi-chip
- Exemplu: tuning-ul unui model de detecție a obiectelor pe Ascend, Biren și MLU
Rezumat și pașii următori
Cerințe
- Experiență în lucrul cu pipeline-uri de antrenare sau deployment ale modelelor AI
- Înțelegerea principiilor de calcul GPU/MLU și a optimizării modelelor
- Familiaritate de bază cu instrumentele și metricile de profiling al performanței
Public țintă
- Ingineri de performanță
- Echipe de infrastructură machine learning
- Arhitecți de sisteme AI
21 Ore
