Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Durata 14 ore
Schița de curs
Opțiuni de Implementare
- Compromisuri între API hostat și self-hosted
- Modele on-premises, edge și air-gapped
- Model unic versus portofoliu de modele
- Comparație a costului per decizie
Dimensionarea Hardware-ului și Capacitatea
- Amprunta de memorie în funcție de numărul de parametri
- Doar CPU versus accelerare GPU
- Planificare a concurenței și deplasării
- Marjă pentru creșterea lungimii task-urilor
Stack-uri de Serving
- Opțiuni vLLM și SGLang
- Execuție llama.cpp și GGUF
- Ollama pentru dezvoltare locală
- Alegere în funcție de forma workload-ului de decizie
Cuantizare Fără Pierderea Calibrării
- Formate de precizie și economii de memorie
- Măsurarea pierderii de calitate și calibrare
- Varianțe per tensor și conștiente de importanță
- Testare de acceptare după cuantizare
Engineering de Latență
- Latență mediană versus latență coadă
- Crescerea lățimii de bandă cu lungimea contextului
- Pornire caldă și cache a modelului
- Batching a mai multor întrebări de decizie
Medge și Medii Constrained
- Modele mici de decizie pe CPU
- Implementare Apple Silicon și embedded
- Operare offline și strategie de actualizare
- Distribuție greutăți în rețele air-gapped
Containere și Scalare
- Design de imagini pentru serving-ul modelului
- Gestionarea volumului și cache-ului
- Scalare orizontală și rutare
- Limite de resurse și partajare GPU
Observabilitate
- Metrici de cerere, latență și eroare
- Monitorizare a distribuției încrederii
- Urmărire a rezultatelor deciziilor și a escaladării
- Alertare la drift de calibrare
Versionare și Rollout
- Versionare a modelului și a adapterelor
- Implementare shadow și canary
- Fișiere de model pin-uite pentru audit
- Proceduri de rollback
Securitate și Multi-Tenancy
- Autentificare și limitare a ratei
- Izolare tenant pentru prompts și loguri
- Izolare de rețea și control al egress-ului
- Loguri de audit ale deciziilor
Cerințe
- Experiență în administrare Linux și containere.
- Familiaritate cu servere de inferență a modelelor și gestionarea GPU.
- Înțelegere de bază a API-urilor REST, load balancing și monitorizare.
Audiența
- Ingineri MLOps și de platformă care rulează infrastructură de inferență
- Echipe SRE care sprijină servicii AI
- Ingineri AI care implementează modele de decizie on-premises
- Arhitecți care proiectează implementări AI air-gapped sau reglementate
