Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Durata 35 ore
Schița de curs
Introducere și fundamente de diagnosticare
- Prezentare generală a modurilor de eșec în sistemele LLM și a problemelor comune specifice Ollama
- Stabilirea unor experimente reproductibile și a unor medii controlate
- Set de instrumente de depanare: loguri locale, capturi cerere/răspuns și sandboxing
Reproducerea și izolarea eșecurilor
- Tehnici pentru crearea de exemple minime de eșec și seed-uri
- Interacțiuni cu stare vs. fără stare: izolarea bug-urilor legate de context
- Determinism, aleatorism și controlul comportamentului nedeterminist
Evaluare comportamentală și metrici
- Metrici cantitative: acuratețe, variante ROUGE/BLEU, calibrare și proxy-uri de perplexitate
- Evaluări calitative: scoring cu human-in-the-loop și proiectarea rubricilor
- Verificări de fidelitate specifice sarcinilor și criterii de acceptare
Testare automatizată și regresie
- Teste unitare pentru prompturi și componente, teste de scenariu și end-to-end
- Crearea de suite de regresie și baseline-uri de exemple de referință
- Integrare CI/CD pentru actualizările modelelor Ollama și porți automate de validare
Observabilitate și monitorizare
- Logging structurat, trace-uri distribuite și ID-uri de corelare
- Metrici operaționale cheie: latență, utilizare tokenuri, rate de eroare și semnale de calitate
- Alertare, dashboard-uri și SLI-uri/SLO-uri pentru serviciile bazate pe modele
Analiză avansată a cauzelor rădăcină
- Trasarea prin prompturi grafate, apeluri de tool-uri și fluxuri multi-turn
- Diagnosticare comparativă A/B și studii de ablație
- Proveniența datelor, depanarea seturilor de date și abordarea eșecurilor induse de seturile de date
Strategii de siguranță, robustețe și remediere
- Măsuri de atenuare: filtrare, grounding, augmentare prin retrieval și scaffolding de prompturi
- Tipare de rollback, canary și lansare în etape pentru actualizările modelelor
- Post-mortem-uri, lecții învățate și bucle de îmbunătățire continuă
Rezumat și pașii următori
Cerințe
- Experiență solidă în construirea și deployment-ul aplicațiilor LLM
- Familiaritate cu workflow-urile Ollama și cu găzduirea modelelor
- Confort în utilizarea Python, Docker și a instrumentelor de bază de observabilitate
Audiență
- Ingineri AI
- Profesioniști ML Ops
- Echipe QA responsabile pentru sistemele LLM în producție
