Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Durata 14 ore
Schița de curs
Pregătirea modelurilor de Machine Learning pentru deployment
- Pachetizarea modelurilor cu Docker
- Exportul modelurilor din TensorFlow și PyTorch
- Considerații privind versioning și stocare
Model Serving pe Kubernetes
- Prezentare generală a serverelor de inferență
- Deploymentul TensorFlow Serving și TorchServe
- Configurarea endpoint-urilor pentru modele
Tehnici de optimizare a inferenței
- Strategii de batching
- Managearea cerințelor concurente
- Optimizarea latenței și a throughput-ului
Autoscaling pentru workloads ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Provisioning GPU și managementul resurselor
- Configurarea nodurilor GPU
- Prezentare generală a plugin-ului de dispozitive NVIDIA
- Requests și limits de resurse pentru workloads ML
Strategii de rollout și lansare a modelurilor
- Deployments blue/green
- Modeluri de canary rollout
- A/B testing pentru evaluarea modelurilor
Monitoring și observabilitate pentru ML în producție
- Metrici pentru workloads de inferență
- Bune practici de logging și tracing
- Dashboards și alerting
Considerații privind securitatea și fiabilitatea
- Securizarea endpoint-urilor pentru modele
- Politici de rețea și controlul accesului
- Asigurarea disponibilității ridicate (high availability)
Rezumat și pașii următori
Cerințe
- Înțelegerea fluxurilor de lucru pentru aplicații containerizate
- Experiență cu modele de machine learning bazate pe Python
- Familiaritate cu fundamentele Kubernetes
Public-țintă
- Ingineri ML
- Ingineri DevOps
- Echipe de Platform Engineering
Mărturii (1)
Îmi place partea de Kubernetes din training, pentru că am avut niște taskuri cu poduri și porturi K8s și a fost plăcut să înțeleg mai bine acum. Mulțumesc!
Laura Miron - Betfair
Curs - Docker and Kubernetes
Tradus de catre o masina