Schița de curs
Introducere în containerizarea accelerată cu GPU
- Înțelegerea utilizării GPU în fluxurile de lucru de deep learning
- Cum suportă Docker volumele de lucru bazate pe GPU
- Considerente cheie de performanță
Instalarea și configurarea NVIDIA Container Toolkit
- Configurarea driverelor și compatibilitatea CUDA
- Validarea accesului la GPU în containere
- Configurarea mediului de runtime
Construirea imaginilor Docker cu GPU activat
- Utilizarea imaginilor de bază CUDA
- Împachetarea framework-urilor AI în containere pregătite pentru GPU
- Gestionarea dependențelor pentru training și inferență
Rularea sarcinilor AI accelerate cu GPU
- Executarea joburilor de training folosind GPU-uri
- Gestionarea volumelor de lucru multi-GPU
- Monitorizarea utilizării GPU
Optimizarea performanței și alocarea resurselor
- Limitarea și izolarea resurselor GPU
- Optimizarea memoriei, batch size-urilor și plasării device-urilor
- Tuning de performanță și diagnosticare
Inferență containerizată și model serving
- Construirea containerelor pregătite pentru inferență
- Servirea volumelor de lucru cu încărcare ridicată pe GPU-uri
- Integrarea model runner-elor și a API-urilor
Scalarea volumelor de lucru GPU cu Docker
- Strategii pentru training GPU distribuit
- Scalarea microserviciilor de inferență
- Coordonarea sistemelor AI multi-container
Securitate și fiabilitate pentru containerele cu GPU activat
- Asigurarea accesului sigur la GPU în medii partajate
- Întărirea imaginilor de container
- Gestionarea update-urilor, versiunilor și compatibilității
Rezumat și pașii următori
Cerințe
- Înțelegerea noțiunilor fundamentale de deep learning
- Experiență cu Python și cu framework-uri AI comune
- Familiaritate cu conceptele de bază de containerizare
Public țintă
- Ingineri de deep learning
- Echipe de cercetare și dezvoltare
- Traineri de modele AI
Mărturii (2)
Așa cum am spus înainte, pentru o persoană ca mine (fără experiență), acesta a fost un punct de plecare pentru a înțelege funcționalitățile și caracteristicile acestor programe/unelte etc.
Patrick V. Duylovski - UBB + DZI (KBC GROUP)
Curs - Docker and Kubernetes
Tradus de catre o masina
program de curs structurat pe mai multe niveluri.
Bert Paelinckx - Cube SoftwareSolutions
Curs - Introduction to Docker
Tradus de catre o masina