Schița de curs
Pregătirea Modelelor de Învățare Automată pentru Implementare
- Împachetarea modelelor cu Docker
- Exportarea modelelor din TensorFlow și PyTorch
- Considerații privind versiunea și stocarea
Servirea Modelelor pe Kubernetes
- Prezentare generală a serverelor de inferență
- Implementarea TensorFlow Serving și TorchServe
- Configurarea punctelor finale ale modelelor
Tehnici de Optimizare a Inferenței
- Strategii de batching
- Gestionarea cererilor concurente
- Ajustarea latenței și a debitului
Autoscalarea Sarcinilor de Lucru ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Configurarea GPU și Managementul Resurselor
- Configurarea nodurilor GPU
- Prezentare generală a plugin-ului NVIDIA
- Cerințe și limite de resurse pentru sarcinile de lucru ML
Strategii de Lansare și Eliberare a Modelelor
- Implementări blue/green
- Modele de lansare canar
- Teste A/B pentru evaluarea modelelor
Monitorizarea și Observabilitatea ML în Producție
- Metrici pentru sarcinile de inferență
- Practici de logare și urmărire
- Panouri de control și alerte
Considerații de Securitate și Fiabilitate
- Securizarea punctelor finale ale modelelor
- Politici de rețea și controlul accesului
- Asigurarea disponibilității ridicate
Rezumat și Pași Următori
Cerințe
- Înțelegerea fluxurilor de lucru ale aplicațiilor containerizate
- Experiență cu modele de învățare automată bazate pe Python
- Familiaritate cu elementele de bază ale Kubernetes
Publicul Țintă
- Ingineri ML
- Ingineri DevOps
- Echipe de inginerie de platformă
Mărturii (3)
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Curs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Cum instrucționează formatorii cunoștințele cu atâta eficacitate
Vu Thoai Le - Reply Polska sp. z o. o.
Curs - Certified Kubernetes Administrator (CKA) - exam preparation
Tradus de catre o masina
Cunoașterea și răbdarea instruirii de a răspunde la întrebările noastre.
Calin Avram - REGNOLOGY ROMANIA S.R.L.
Curs - Deploying Kubernetes Applications with Helm
Tradus de catre o masina