Schița de curs

Introducere

  • Prezentare generală a provocărilor de scalare a învățării profunde
  • Prezentare generală a DeepSpeed și a caracteristicilor sale
  • DeepSpeed vs. alte biblioteci de învățare profundă distribuită

Început

  • Configurarea mediului de dezvoltare
  • Instalarea PyTorch și DeepSpeed
  • Configurarea DeepSpeed pentru antrenament distribuit

Caracteristici de optimizare DeepSpeed

  • Pipeline-ul de antrenament DeepSpeed
  • ZeRO (optimizare de memorie)
  • Checkpointing al activării
  • Checkpointing al gradientului
  • Paralelism de pipeline

Scalarea modelelor cu DeepSpeed

  • Scalare de bază folosind DeepSpeed
  • Tehnici avansate de scalare
  • Considerații de performanță și bune practici
  • Tehnici de depanare și troubleshooting

Subiecte avansate DeepSpeed

  • Tehnici avansate de optimizare
  • Utilizarea DeepSpeed cu antrenament de precizie mixtă
  • DeepSpeed pe diferite tipuri de hardware (de ex. GPU, TPU)
  • DeepSpeed cu noduri multiple de antrenament

Integrarea DeepSpeed cu PyTorch

  • Integrarea DeepSpeed cu fluxurile de lucru PyTorch
  • Utilizarea DeepSpeed cu PyTorch Lightning

Depanare

  • Depanarea problemelor comune DeepSpeed
  • Monitorizare și logging

Rezumat și pași următori

  • Recapitulare a conceptelor și caracteristicilor cheie
  • Bune practici pentru utilizarea DeepSpeed în producție
  • Resurse suplimentare pentru a afla mai multe despre DeepSpeed

Cerințe

  • Cunoștințe intermediare despre principiile învățării profunde
  • Experiență cu PyTorch sau framework-uri similare de învățare profundă
  • Cunoașterea programării în Python

Public țintă

  • Oameni de știință de date
  • Ingineri de machine learning
  • Dezvoltatori
 21 Ore

Numărul de participanți


Pret per participant

Mărturii (2)

Cursuri viitoare

Categorii înrudite