Schița de curs
Pregătirea modelurilor de Machine Learning pentru deployment
- Pachetizarea modelurilor cu Docker
- Exportul modelurilor din TensorFlow și PyTorch
- Considerații privind versioning și stocare
Model Serving pe Kubernetes
- Prezentare generală a serverelor de inferență
- Deploymentul TensorFlow Serving și TorchServe
- Configurarea endpoint-urilor pentru modele
Tehnici de optimizare a inferenței
- Strategii de batching
- Managearea cerințelor concurente
- Optimizarea latenței și a throughput-ului
Autoscaling pentru workloads ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Provisioning GPU și managementul resurselor
- Configurarea nodurilor GPU
- Prezentare generală a plugin-ului de dispozitive NVIDIA
- Requests și limits de resurse pentru workloads ML
Strategii de rollout și lansare a modelurilor
- Deployments blue/green
- Modeluri de canary rollout
- A/B testing pentru evaluarea modelurilor
Monitoring și observabilitate pentru ML în producție
- Metrici pentru workloads de inferență
- Bune practici de logging și tracing
- Dashboards și alerting
Considerații privind securitatea și fiabilitatea
- Securizarea endpoint-urilor pentru modele
- Politici de rețea și controlul accesului
- Asigurarea disponibilității ridicate (high availability)
Rezumat și pașii următori
Cerințe
- Înțelegerea fluxurilor de lucru pentru aplicații containerizate
- Experiență cu modele de machine learning bazate pe Python
- Familiaritate cu fundamentele Kubernetes
Public-țintă
- Ingineri ML
- Ingineri DevOps
- Echipe de Platform Engineering
Mărturii (4)
înțelegere de bază a containerelor/kubernetes și modul în care acestea interacționează caracteristicile platformei openshift
Eric Scholze - NOW IT GmbH
Curs - Introduction to Containers, Kubernetes & OpenShift
Tradus de catre o masina
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Curs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Cum instrucționează formatorii cunoștințele cu atâta eficacitate
Vu Thoai Le - Reply Polska sp. z o. o.
Curs - Certified Kubernetes Administrator (CKA) - exam preparation
Tradus de catre o masina
Cunoașterea și schimburile cu Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Curs - Docker and Kubernetes
Tradus de catre o masina
