Schița de curs

Introducere

  • Prezentare generală a provocărilor legate de scalarea învățării profunde
  • Prezentare generală a DeepSpeed și a caracteristicilor sale
  • DeepSpeed vs. alte biblioteci distribuite de învățare profundă

Noțiuni introductive

  • Configurarea mediului de dezvoltare
  • Instalarea PyTorch și DeepSpeed
  • Configurarea DeepSpeed pentru instruire distribuită

Caracteristicile optimizării DeepSpeed

  • Conducta de instruire DeepSpeed
  • ZeRO (optimizarea memoriei)
  • Activarea punctului de verificare a activării
  • Gradient checkpointing
  • Paralelismul pipeline-ului

Scalarea modelelor cu DeepSpeed

  • Scalare de bază folosind DeepSpeed
  • Tehnici avansate de scalare
  • Considerații privind performanța și cele mai bune practici
  • Tehnici de depanare și rezolvare a problemelor

Subiecte avansate DeepSpeed

  • Tehnici avansate de optimizare
  • Utilizarea DeepSpeed cu formare de precizie mixtă
  • DeepSpeed pe hardware diferit (de exemplu GPUs, TPU)
  • DeepSpeed cu mai multe noduri de instruire

Integrarea DeepSpeed cu PyTorch

  • Integrarea DeepSpeed cu fluxurile de lucru PyTorch
  • Utilizarea DeepSpeed cu PyTorch Lightning

Depanare

  • Depanarea problemelor comune ale DeepSpeed
  • Monitorizare și logare

Rezumat și etapele următoare

  • Recapitulare a conceptelor și caracteristicilor cheie
  • Cele mai bune practici pentru utilizarea DeepSpeed în producție
  • Resurse suplimentare pentru a afla mai multe despre DeepSpeed

Cerințe

  • Cunoștințe intermediare de principii de învățare profundă
  • Experiență cu PyTorch sau cadre de învățare profundă similare
  • Familiaritate cu programarea Python
  • .

Audiență

  • Științifici de date
  • Inginerii de învățare mecanică
  • Dezvoltatorii
 21 ore

Numărul de participanți



Pret per participant

Cursuri înrudite

Categorii înrudite