Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Introducere în LLMOps
- LLMOps vs. MLOps: provocările unice ale operaționării modelelor LLM
- Ciclul de viață al aplicației LLM: prompt, evaluare, implementare, monitorizare
- Lista de verificare pentru pregătirea în producție a aplicațiilor GenAI
Gestionarea și versiunizarea prompturilor
- Sisteme de templating pentru prompturi și injectarea variabilelor
- Versiunizare semantică a prompturilor cu testare automată de regresie
- Registre de prompturi și fluxuri de lucru collaborative
Evaluarea modelelor LLM la scară
- Dimensiuni ale evaluării: acuratețe, relevanță, siguranță, fundamentare (groundedness)
- Metrici LLM-as-judge și fluxuri de lucru de evaluare manuală
- Cadrul automat de evaluare: RAGAS, DeepEval și evaluatori personalizați
- Poarte de calitate în CI/CD pentru implementările LLM
Garduri de siguranță și guvernanța conținutului
- Guardrails de intrare și ieșire: NeMo Guardrails și Guardrails AI
- Detectarea PII, filtrarea toxicității și limitele tematică
- Strategii de apărare împotriva jailbreak-ului și a injecțiilor de prompt
- Red-teaming al aplicațiilor LLM pentru asigurarea siguranței
Observabilitatea și monitorizarea modelelor LLM
- Telemetrie: utilizarea tokenilor, latența, costurile și metricile de calitate
- Detectarea drift-ului în ieșirile modelelor LLM și spațiile de încapsulare (embedding spaces)
- Urmarirea la nivel de sesiune pentru conversații multi-tren cu agenți
- Tablouri de bord și alertare cu LangSmith, Arize și OpenTelemetry
Pasă AI și orchestrarea modelelor
- Rutare multi-furnizor cu LiteLLM și Portkey
- Strategii de fallback, logica de reîncercare și întrerupătoare de circuit (circuit breakers)
- Selectarea modelelor conștientă de costuri și balancearea încărcării
- Limitarea ratei, gestionarea cuotelor și guvernanța cheilor API
Optimizarea performanței
- Caching semantic cu stocări vectoriale și strategii de potrivire exactă
- Impunerea output-ului structurat cu decodare constraint-uită
- Modeluri de batch, streaming și concurență
- Optimizarea latenței între furnizorii de modele
Guvernanța, conformitatea și auditul
- Istoricul de audit LLM: jurnalele prompturilor, jurnalele răspunsurilor și proveniența deciziilor
- Considerații privind rezidența datelor și confidențialitatea pentru API-urile LLM
- Politici ca cod (Policy-as-code) pentru utilizarea LLM în organizații
- Elaborarea unui manual intern de operațiuni LLM
Cerințe
- Experiență în construirea sau integrarea aplicațiilor bazate pe modele linguistice mari (LLM).
- Conoscințe ale limbajului Python și al API-urilor REST.
- Oțeție de bază a conceptelor de inginerie a prompturilor.
Public țintă
- Ingineri ML și practicieni MLOps care trec la operaționarea modelelor LLM.
- Ingineri de platformă responsabili pentru infrastructura LLM.
- Lideri tehnici care gestionează implementările GenAI din producție.
14 Ore
Mărturii (2)
folosirea unor prompturi corecte și eficiente
Marses Pacaldo
Curs - Generative AI and Prompt Engineering for Corporate Professionals
Tradus de catre o masina
Stilul interactiv, exercițiile
Tamas Tutuntzisz
Curs - Introduction to Prompt Engineering
Tradus de catre o masina
