Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Schița de curs
Introducere
- Prezentare generală a provocărilor legate de scalarea învățării profunde
- Prezentare generală a DeepSpeed și a caracteristicilor sale
- DeepSpeed vs. alte biblioteci distribuite de învățare profundă
Noțiuni introductive
- Configurarea mediului de dezvoltare
- Instalarea PyTorch și DeepSpeed
- Configurarea DeepSpeed pentru instruire distribuită
Caracteristici de optimizare DeepSpeed
- Conducta de formare DeepSpeed
- ZeRO (optimizarea memoriei)
- Punct de control al activării
- Punct de control al gradientului
- Paralelismul conductei
Scalarea modelelor cu DeepSpeed
- Scalarea de bază utilizând DeepSpeed
- Tehnici avansate de scalare
- Considerații privind performanța și cele mai bune practici
- Tehnici de depanare și de rezolvare a problemelor
Subiecte avansate DeepSpeed
- Tehnici avansate de optimizare
- Utilizarea DeepSpeed cu instruire cu precizie mixtă
- DeepSpeed pe hardware diferit (de exemplu, GPUs, TPU)
- DeepSpeed cu noduri de formare multiple
Integrarea DeepSpeed cu PyTorch
- Integrarea DeepSpeed cu fluxurile de lucru PyTorch
- Utilizarea DeepSpeed cu PyTorch Lightning
Rezolvarea problemelor
- Depanarea problemelor comune ale DeepSpeed
- Monitorizare și logare
Rezumat și pași următori
- Recapitularea conceptelor și caracteristicilor cheie
- Cele mai bune practici pentru utilizarea DeepSpeed în producție
- Resurse suplimentare pentru a afla mai multe despre DeepSpeed
Cerințe
- Cunoașterea intermediară a principiilor învățării profunde
- Experiență cu PyTorch sau cadre similare de învățare profundă
- Familiaritate cu programarea Python
Audiență
- Oameni de știință în domeniul datelor
- Ingineri de învățare automată
- Dezvoltatori
21 ore
Mărturii (2)
Organizarea, respectând agendă propusă, cunoștințele extensive ale formatorului în această temă
Ali Kattan - TWPI
Curs - Natural Language Processing with TensorFlow
Tradus de catre o masina
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Curs - TensorFlow for Image Recognition
Tradus de catre o masina