Intrati in legatura

Schița de curs

Pregătirea Modelelor de Învățare Automată pentru Implementare

  • Ambalarea modelelor cu Docker
  • Exportarea modelelor din TensorFlow și PyTorch
  • Considerații privind versiunile și stocarea

Servirea Modelelor pe Kubernetes

  • Prezentare generală a serverelor de inferență
  • Implementarea TensorFlow Serving și TorchServe
  • Configurarea punctelor finale ale modelelor

Tehnici de Optimizare a Inferenței

  • Strategii de batch
  • Gestionarea cererilor concurente
  • Reglarea latenței și a debitului

Autoscaling pentru Sarcini de ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Provizionarea GPU și Managementul Resurselor

  • Configurarea nodurilor GPU
  • Prezentare generală a plugin-ului NVIDIA
  • Cerințe și limite de resurse pentru sarcinile de ML

Strategii de Lansare și Eliberare a Modelelor

  • Implementări blue/green
  • Modele de lansare canar
  • Teste A/B pentru evaluarea modelelor

Monitorizare și Observabilitate pentru ML în Producție

  • Metrici pentru sarcinile de inferență
  • Practici de logging și tracing
  • Panouri de control și alertare

Considerații de Securitate și Fiabilitate

  • Securizarea punctelor finale ale modelelor
  • Politici de rețea și controlul accesului
  • Asigurarea disponibilității ridicate

Rezumat și Pași Următori

Cerințe

  • Înțelegerea fluxurilor de lucru ale aplicațiilor containerizate
  • Experiență cu modele de învățare automată bazate pe Python
  • Cunoștințe de bază despre Kubernetes

Public țintă

  • Ingineri ML
  • Ingineri DevOps
  • Echipe de inginerie de platformă
 14 Ore

Numărul de participanți


Pret per participant

Mărturii (3)

Cursuri viitoare

Categorii înrudite