Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Introducere și Fundamente Diagnostice
- Perspectivă asupra modurilor de eșec în sistemele LLM și probleme specifice Ollama comune
- Etablirea experimentelor reproduceibile și a mediilor controlate
- Setul de instrumente pentru depanare: jurnale locale, capturi de solicitări/răspunsuri și sandboxing
Reproducerea și Izolarea Eșecurilor
- Tehnici pentru crearea de exemple eșuate minime și semințe
- Interacțiuni stateful vs stateless: izolare a defectelor legate de context
- Determinism, aleatorizare și controlul comportamentului nondeterminist
Evaluarea Comportamentală și Metricele
- Metrice quantitative: precizia, variațiile ROUGE/BLEU, calibrare și surrogate de perplexitate
- Evaluări qualitative: scoraj humân în buclă și conceperea rubricilor
- Verificările specificului sarcinii și criteriile de acceptare
Testarea Automată și Regresie
- Teste unitare pentru prompturi și componente, teste scenarii și end-to-end
- Creația de suită-uri de regresii și baze de referință exemplele aurice
- Integrarea CI/CD pentru actualizările modelelor Ollama și portile de validare automate
Observabilitatea și Monitorizarea
- Jurnalizarea structurată, traseele distribuite și ID-urile corelației
- Metrice operaționale cheie: latenta, utilizarea tokenurilor, ratele de erori și semnalele calității
- Alerte, panouri de instrumente și SLIs/SLOs pentru serviciile susținute de modele
Analiza Avansată a Cauzelor Radicale
- Pasarea prin prompturi grafice, apelurile la instrumente și fluxuri multi-turn
- Diagnoza comparativă A/B și studiile de ablație
- Proveniența datelor, depanarea seturilor de date și abordarea eșecurilor induse de setul de date
Siguranță, Robușime și Strategii de Remediere
- Mitigațiile: filtrare, ancrare, augumentarea retragerii și infrastructura promptului
- Modelul de actualizare cu revoire, canarii și lanțuirea fazaată
- Rapoartele post-mortem, lecțiile învățate și buclele de îmbunătățiri continue
Rezumat și Pași Următori
Cerințe
- Experiență solidă în construirea și dezvoltarea aplicațiilor LLM
- Cunoștințe cu fluxurile de lucru Ollama și gazduirea modelului
- Competență cu Python, Docker și instrumentele de observabilitate de bază
Publicul țintă
- Inginerii AI
- Profesionalii ML Ops
- Echipele QA responsabile pentru sistemele LLM de producție
35 ore