Schița de curs

Introducere și Fundamente Diagnostice

  • Perspectivă asupra modurilor de eșec în sistemele LLM și probleme specifice Ollama comune
  • Etablirea experimentelor reproduceibile și a mediilor controlate
  • Setul de instrumente pentru depanare: jurnale locale, capturi de solicitări/răspunsuri și sandboxing

Reproducerea și Izolarea Eșecurilor

  • Tehnici pentru crearea de exemple eșuate minime și semințe
  • Interacțiuni stateful vs stateless: izolare a defectelor legate de context
  • Determinism, aleatorizare și controlul comportamentului nondeterminist

Evaluarea Comportamentală și Metricele

  • Metrice quantitative: precizia, variațiile ROUGE/BLEU, calibrare și surrogate de perplexitate
  • Evaluări qualitative: scoraj humân în buclă și conceperea rubricilor
  • Verificările specificului sarcinii și criteriile de acceptare

Testarea Automată și Regresie

  • Teste unitare pentru prompturi și componente, teste scenarii și end-to-end
  • Creația de suită-uri de regresii și baze de referință exemplele aurice
  • Integrarea CI/CD pentru actualizările modelelor Ollama și portile de validare automate

Observabilitatea și Monitorizarea

  • Jurnalizarea structurată, traseele distribuite și ID-urile corelației
  • Metrice operaționale cheie: latenta, utilizarea tokenurilor, ratele de erori și semnalele calității
  • Alerte, panouri de instrumente și SLIs/SLOs pentru serviciile susținute de modele

Analiza Avansată a Cauzelor Radicale

  • Pasarea prin prompturi grafice, apelurile la instrumente și fluxuri multi-turn
  • Diagnoza comparativă A/B și studiile de ablație
  • Proveniența datelor, depanarea seturilor de date și abordarea eșecurilor induse de setul de date

Siguranță, Robușime și Strategii de Remediere

  • Mitigațiile: filtrare, ancrare, augumentarea retragerii și infrastructura promptului
  • Modelul de actualizare cu revoire, canarii și lanțuirea fazaată
  • Rapoartele post-mortem, lecțiile învățate și buclele de îmbunătățiri continue

Rezumat și Pași Următori

Cerințe

  • Experiență solidă în construirea și dezvoltarea aplicațiilor LLM
  • Cunoștințe cu fluxurile de lucru Ollama și gazduirea modelului
  • Competență cu Python, Docker și instrumentele de observabilitate de bază

Publicul țintă

  • Inginerii AI
  • Profesionalii ML Ops
  • Echipele QA responsabile pentru sistemele LLM de producție
 35 ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite