Schița de curs
Fundamentele implementării AI hibride
- Înțelegerea modelelor de implementare hibridă, cloud și edge
- Caracteristicile workload-urilor AI și constrângerile de infrastructură
- Alegerea topologiei potrivite de implementare
Containerizarea workload-urilor AI cu Docker
- Construirea containerelor de inferență pe GPU și CPU
- Gestionarea imaginilor și registry-urilor securizate
- Implementarea unor medii reproductibile pentru AI
Implementarea serviciilor AI în medii cloud
- Rularea inferenței pe AWS, Azure și GCP prin Docker
- Provizionarea resurselor de calcul cloud pentru servirea modelelor
- Securizarea endpoint-urilor AI din cloud
Tehnici de implementare edge și on-premise
- Rularea AI pe dispozitive IoT, gateway-uri și microservere
- Runtime-uri ușoare pentru medii edge
- Gestionarea conectivității intermitente și a persistenței locale
Rețelistică hibridă și conectivitate securizată
- Tunelare securizată între edge și cloud
- Certificate, secrete și acces bazat pe token-uri
- Optimizarea performanței pentru inferență cu latență redusă
Orchestrarea implementărilor AI distribuite
- Utilizarea K3s, K8s sau a orchestrației ușoare pentru configurări hibride
- Service discovery și planificarea workload-urilor
- Automatizarea strategiilor de rollout multi-locație
Monitorizare și observabilitate în diferite medii
- Urmărirea performanței inferenței în diferite locații
- Logging centralizat pentru sisteme AI hibride
- Detectarea defecțiunilor și recuperarea automată
Scalarea și optimizarea sistemelor AI hibride
- Scalarea clusterelor edge și a nodurilor cloud
- Optimizarea utilizării lățimii de bandă și a caching-ului
- Echilibrarea sarcinilor de calcul între cloud și edge
Rezumat și pașii următori
Cerințe
- Înțelegerea conceptelor de containerizare
- Experiență cu operațiuni în linia de comandă Linux
- Familiaritate cu fluxurile de lucru pentru implementarea modelelor AI
Public țintă
- Arhitecți de infrastructură
- Site Reliability Engineers (SREs)
- Dezvoltatori edge și IoT
Mărturii (2)
Așa cum am spus înainte, pentru o persoană ca mine (fără experiență), acesta a fost un punct de plecare pentru a înțelege funcționalitățile și caracteristicile acestor programe/unelte etc.
Patrick V. Duylovski - UBB + DZI (KBC GROUP)
Curs - Docker and Kubernetes
Tradus de catre o masina
program de curs structurat pe mai multe niveluri.
Bert Paelinckx - Cube SoftwareSolutions
Curs - Introduction to Docker
Tradus de catre o masina