Schița de curs
Pregătirea Modelelor de Învățare Automată pentru Implementare
- Ambalarea modelelor cu Docker
- Exportarea modelelor din TensorFlow și PyTorch
- Considerații privind versiunile și stocarea
Servirea Modelelor pe Kubernetes
- Prezentare generală a serverelor de inferență
- Implementarea TensorFlow Serving și TorchServe
- Configurarea punctelor finale ale modelelor
Tehnici de Optimizare a Inferenței
- Strategii de batch
- Gestionarea cererilor concurente
- Reglarea latenței și a debitului
Autoscaling pentru Sarcini de ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Provizionarea GPU și Managementul Resurselor
- Configurarea nodurilor GPU
- Prezentare generală a plugin-ului NVIDIA
- Cerințe și limite de resurse pentru sarcinile de ML
Strategii de Lansare și Eliberare a Modelelor
- Implementări blue/green
- Modele de lansare canar
- Teste A/B pentru evaluarea modelelor
Monitorizare și Observabilitate pentru ML în Producție
- Metrici pentru sarcinile de inferență
- Practici de logging și tracing
- Panouri de control și alertare
Considerații de Securitate și Fiabilitate
- Securizarea punctelor finale ale modelelor
- Politici de rețea și controlul accesului
- Asigurarea disponibilității ridicate
Rezumat și Pași Următori
Cerințe
- Înțelegerea fluxurilor de lucru ale aplicațiilor containerizate
- Experiență cu modele de învățare automată bazate pe Python
- Cunoștințe de bază despre Kubernetes
Public țintă
- Ingineri ML
- Ingineri DevOps
- Echipe de inginerie de platformă
Mărturii (3)
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Curs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Cum instrucționează formatorii cunoștințele cu atâta eficacitate
Vu Thoai Le - Reply Polska sp. z o. o.
Curs - Certified Kubernetes Administrator (CKA) - exam preparation
Tradus de catre o masina
Cunoașterea și răbdarea instruirii de a răspunde la întrebările noastre.
Calin Avram - REGNOLOGY ROMANIA S.R.L.
Curs - Deploying Kubernetes Applications with Helm
Tradus de catre o masina