Intrati in legatura
 Durata 35 ore

Schița de curs

Introducere și Fundamente pentru Diagnostic

  • Prezentarea modurilor de eșec în sistemele LLM și a problemelor specifice Ollama
  • Stabilirea experimentelor reproductibile și a mediilor controlate
  • Set de instrumente pentru debugging: jurnale locale, capturi de request/response și sandboxing

Reproducerea și Izolarea Eșecurilor

  • Tehnici pentru crearea de exemple de eșec minimale și a surselor (seeds)
  • Interacțiuni stateful vs. stateless: izolarea bug-urilor legate de context
  • Determinism, aleatoricitate și controlul comportamentului nedeterminist

Evaluare Comportamentală și Metrici

  • Metrici cantitative: acuratețe, variante ROUGE/BLEU, calibrare și proxy-uri pentru perplexity
  • Evaluări calitative: scorare human-in-the-loop și design de rubrici
  • Verificări de fidelitate specifice task-urilor și criterii de acceptanță

Testare Automatizată și Regresie

  • Unit tests pentru prompt-uri și componente, teste de scenariu și end-to-end
  • Crearea de suite de regresie și baze de date de referință (golden example baselines)
  • Integrare CI/CD pentru actualizări de modele Ollama și porți de validare automatizată

Observabilitate și Monitorizare

  • Logare structurată, trace-uri distribuite și ID-uri de corelare
  • Metrici operaționale cheie: latență, utilizare de tokeni, rate de eroare și semne de calitate
  • Alertări, dashboard-uri și SLI/SLO pentru servicii bazate pe modele

Analiză Avansată a Cauzei Radicale (Root Cause Analysis)

  • Urmărirea (tracing) prin grafurile prompt-urilor, apelurile de tool-uri și fluxurile multi-turn
  • Diagnostic comparativ A/B și studii de ablație
  • Proveniența datelor, debugging-ul dataset-urilor și gestionarea eșecurilor induse de dataset-uri

Siguranță, Robustețe și Strategii de Remediere

  • Mitigări: filtrare, ancorare (grounding), augmentare prin recuperare (retrieval) și structurare a prompt-urilor (prompt scaffolding)
  • Modele de rollback, canary și lansare treptată pentru actualizări de modele
  • Post-mortems, lecții învățate și bucle de îmbunătățire continuă

Rezumat și Pașii Următori

Cerințe

  • Experiență solidă în construirea și deploy-ul aplicațiilor LLM
  • Dezvoltare familiaritate cu workflow-urile Ollama și găzduirea modelelor
  • Confort în utilizarea Python, Docker și instrumente de bază pentru observabilitate

Audiență

  • Ingineri AI
  • Profesioniști MLOps
  • Echipe QA responsabilă pentru sisteme LLM de producție

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite