Curs de pregatire Construirea Aplicațiilor Sigure și Responsabile bazate pe LLM

Prezentare generală a arhitecturii LLM și a suprafeței de atac

• Cum sunt construite, implementate și accesate modelele LLM prin API-uri
• Componentele cheie din stivele de aplicații LLM (de ex., prompturi, agenți, memorie, API-uri)
• Unde și cum apar problemele de securitate în utilizarea reală

Injecția de prompturi și atacurile de jailbreak

• Ce este injecția de prompturi și de ce este periculoasă
• Scenarii de injecție directă și indirectă de prompturi
• Tehnici de jailbreak pentru a ocoli filtrele de siguranță
• Strategii de detectare și atenuare

Riscuri de scurgere a datelor și confidențialitate

• Expunerea accidentală a datelor prin răspunsuri
• Scurgeri de PII și utilizarea abuzivă a memoriei modelului
• Proiectarea prompturilor conștiente de confidențialitate și generarea augmentată de recuperare (RAG)

Filtrarea și protejarea ieșirilor LLM

• Utilizarea Guardrails AI pentru filtrarea și validarea conținutului
• Definirea schemelor și constrângerilor de ieșire
• Monitorizarea și înregistrarea ieșirilor nesigure

Abordări cu om în buclă și fluxuri de lucru

• Unde și când să introduci supravegherea umană
• Cozile de aprobare, praguri de scor, gestionarea fallback
• Calibrarea încrederii și rolul explicabilității

Modele de proiectare securizată pentru aplicații LLM

• Privilegiu minim și sandboxing pentru apelurile API și agenții
• Limitarea ratei, throttling și detectarea abuzurilor
• Înlănțuire robustă cu LangChain și izolarea prompturilor

Conformitate, înregistrare și guvernanță

• Asigurarea auditabilității ieșirilor LLM
• Menținerea urmăririi și controlul versiunilor/prompturilor
• Alinearea la politicile interne de securitate și nevoile de reglementare

Rezumat și pași următori