Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Schița de curs
Introducere
- Prezentare generală a provocărilor legate de scalarea învățării profunde
- Prezentare generală a DeepSpeed și a caracteristicilor sale
- DeepSpeed vs. alte biblioteci distribuite de învățare profundă
Noțiuni introductive
- Configurarea mediului de dezvoltare
- Instalarea PyTorch și DeepSpeed
- Configurarea DeepSpeed pentru instruire distribuită
Caracteristicile optimizării DeepSpeed
- Conducta de instruire DeepSpeed
- ZeRO (optimizarea memoriei)
- Activarea punctului de verificare a activării
- Gradient checkpointing
- Paralelismul pipeline-ului
Scalarea modelelor cu DeepSpeed
- Scalare de bază folosind DeepSpeed
- Tehnici avansate de scalare
- Considerații privind performanța și cele mai bune practici
- Tehnici de depanare și rezolvare a problemelor
Subiecte avansate DeepSpeed
- Tehnici avansate de optimizare
- Utilizarea DeepSpeed cu formare de precizie mixtă
- DeepSpeed pe hardware diferit (de exemplu GPUs, TPU)
- DeepSpeed cu mai multe noduri de instruire
Integrarea DeepSpeed cu PyTorch
- Integrarea DeepSpeed cu fluxurile de lucru PyTorch
- Utilizarea DeepSpeed cu PyTorch Lightning
Depanare
- Depanarea problemelor comune ale DeepSpeed
- Monitorizare și logare
Rezumat și etapele următoare
- Recapitulare a conceptelor și caracteristicilor cheie
- Cele mai bune practici pentru utilizarea DeepSpeed în producție
- Resurse suplimentare pentru a afla mai multe despre DeepSpeed
Cerințe
- Cunoștințe intermediare de principii de învățare profundă
- Experiență cu PyTorch sau cadre de învățare profundă similare
- Familiaritate cu programarea Python .
Audiență
- Științifici de date
- Inginerii de învățare mecanică
- Dezvoltatorii
21 ore