Curs de pregatire Securitate OWASP GenAI

Ziua 1: Fundamente și Amenințări Principale

Modulul 1: Introducere în Proiectul OWASP GenAI Security (1 oră)

Obiective de învățare:

• Ajungerea la înțelegerea evoluției de la OWASP Top 10 la provocările specifice de securitate GenAI.
• Explorarea ecosistemului și resurselor Proiectului OWASP GenAI Security.
• Identificarea diferențelor cheie între securitatea aplicațiilor tradiționale și securitatea AI.

Subiecte acoperite:

• O prezentare generală a misiunii și domeniului de aplicare al Proiectului OWASP GenAI Security.
• Introducere în cadrul Threat Defense COMPASS.
• Ajungerea la înțelegerea peisajului securității AI și a cerințelor normative.
• Suprafețele de atac AI vs. vulnerabilitățile aplicațiilor web tradiționale.

Exercițiu practic: Configurarea instrumentului OWASP Threat Defense COMPASS și efectuarea unei evaluări inițiale a amenințărilor.

Modulul 2: OWASP Top 10 pentru LLM - Partea 1 (2,5 ore)

Obiective de învățare:

• Stăpânirea celor cinci vulnerabilități critice ale LLM.
• Ajungerea la înțelegerea vectorilor de atac și tehnicilor de exploatare.
• Aplicarea strategiilor practice de atenuare.

Subiecte acoperite:

LLM01: Prompt Injection (Injecția de prompturi)

• Tehnici directe și indirecte de injecție de prompturi.
• Atacuri cu instrucțiuni ascunse și contaminare cross-prompt.
• Exemple practice: Jailbreaking chatbot-uri și ocolirea măsurilor de siguranță.
• Strategii de apărare: Sanitizare intrări, filtrarea prompturilor, confidențialitatea diferențială.

LLM02: Divulgarea informațiilor sensibile

• Extragerea datelor de antrenament și scurgerile promptului de sistem.
• Anализa comportamentului modelului pentru expunerea informațiilor sensibile.
• Implicațiile privind confidențialitatea și considerațiile conformității normative.
• Atenuare: Filtrarea ieșirilor, controalele de acces, anonimizarea datelor.

LLM03: Vulnerabilități ale lanțului de aprovizionare

• Dependențele modelelor terțe și securitatea plugin-urilor.
• Dataset-uri de antrenament compromise și otrăvirea modelelor.
• Evaluarea riscurilor furnizorilor pentru componentele AI.
• Practici de deploy securizat al modelelor și verificare.

Exercițiu practic: Laborator hands-on care demonstrează atacuri de tip prompt injection împotriva aplicațiilor vulnerabile LLM și implementarea măsurilor defensive.

Modulul 3: OWASP Top 10 pentru LLM - Partea a 2-a (2 ore)

Subiecte acoperite:

LLM04: Otrăvirea datelor și modelelor

• Tehnici de manipulare a datelor de antrenament.
• Modificarea comportamentului modelului prin input-uri otrăvite.
• Atacuri backdoor și verificare a integrității datelor.
• Prevenție: Pipeline-uri de validare a datelor, urmărire proveniență.

LLM05: Gestionarea incorectă a ieșirilor

• Procesarea nesecurizată a conținutului generat de LLM.
• Injecție de cod prin output-uri generate de AI.
• Cross-site scripting (XSS) prin răspunsurile AI.
• Cadre de validare și sanitizare a ieșirilor.

Exercițiu practic: Simularea atacurilor de tip data poisoning și implementarea mecanismelor robuste de validare a ieșirii.

Modulul 4: Amenințări Avansate LLM (1,5 ore)

Subiecte acoperite:

LLM06: Agenție excesivă

• Riscurile decizionale autonome și violările frontierelor.
• Gestionarea autorității și permisiunilor agentului.
• Interacțiuni neintenționate cu sistemul și escaladarea privilegiilor.
• Implementarea gardurilor de siguranță și controalelor de supraveghere umană.

LLM07: Scurgerea promptului de sistem

• Vulnerabilitățile expunerii instrucțiunilor de sistem.
• Divulgarea acreditativelor și logicii prin prompturi.
• Tehnici de atac pentru extragerea prompturilor de sistem.
• Securizarea instrucțiunilor de sistem și a configurației externe.

Exercițiu practic: Proiectarea arhitecturilor sigure ale agenților cu controale adecvate de acces și monitorizare.

Ziua 2: Amenințări Avansate și Implementare

Modulul 5: Amenințări AI Emergente (2 ore)

Obiective de învățare:

• Ajungerea la înțelegerea amenințărilor cutting-edge ale securității AI.
• Implementarea tehnicilor avansate de detectare și prevenire.
• Proiectarea sistemelor AI rezistente împotriva atacurilor sofisticate.

Subiecte acoperite:

LLM08: Slăbiciunile vectorilor și ale încapsulărilor (Embeddings)

• Vulnerabilitățile sistemelor RAG și securitatea bazelor de date vectoriale.
• Otrăvirea încapsulărilor și atacurile de manipulare a similarității.
• Exemple adversare în căutarea semantică.
• Securizarea depozitelor vectoriale și implementarea detectării anomaliilor.

LLM09: Dezinformarea și Fiabilitatea Modelului

• Detectarea și atenuarea halucinațiilor.
• Amplificarea bias-ului și considerațiile privind echitatea.
• Mecanisme de verificare a faptelor și a surselor.
• Validarea conținutului și integrarea supravegherii umane.

LLM10: Consum nelimitat

• Epuizarea resurselor și atacurile de tip denial-of-service (DoS).
• Strategii de limitare a ratei și gestionare a resurselor.
• Optimizarea costurilor și controalele bugetare.
• Sisteme de monitorizare a performanței și alertare.

Exercițiu practic: Construirea unui pipeline RAG securizat cu protecția bazei de date vectoriale și detectarea halucinațiilor.

Modulul 6: Securitatea AI Agentic (2 ore)

Obiective de învățare:

• Ajungerea la înțelegerea provocărilor unice de securitate ale agenților AI autonomi.
• Aplicarea taxonomiei OWASP Agentic AI la sistemele din lumea reală.
• Implementarea controalelor de securitate pentru medii multi-agente.

Subiecte acoperite:

• Introducere în AI Agentic și sistemele autonome.
• OWASP Agentic AI Threat Taxonomy: Design Agent, Memorie, Planificare, Utilizare Instrumente, Deploy.
• Riscuri de securitate și coordonare ale sistemelor multi-agent.
• Atacuri de utilizare abuzivă a instrumentelor, otrăvirea memoriei și hijacking-ul obiectivelor.
• Securizarea comunicării agenților și a proceselor de luare a deciziilor.

Exercițiu practic: Exercitiu de modelare a amenințărilor folosind taxonomia OWASP Agentic AI pe un sistem multi-agent de serviciu clienți.

Modulul 7: Implementarea OWASP Threat Defense COMPASS (2 ore)

Obiective de învățare:

• Stăpânirea aplicației practice a Threat Defense COMPASS.
• Integrarea evaluării amenințărilor AI în programele organizaționale de securitate.
• Dezvoltarea strategiilor comprehensive de management al riscurilor AI.

Subiecte acoperite:

• Analiză profundă a metodologiei Threat Defense COMPASS.
• Integrarea buclei OODA: Observă, Orientare, Decide, Acționează.
• Hartirea amenințărilor la cadrele MITRE ATT&CK și ATLAS.
• Crearea tablourilor de bord pentru Strategia de Reziliență a Amenințărilor AI.
• Integrarea cu instrumentele și procesele existente de securitate.

Exercițiu practic: Efectuarea unei evaluări complete a amenințărilor folosind COMPASS pentru un scenariu de deploy Microsoft Copilot.

Modulul 8: Implementare Practică și Bune Practici (2,5 ore)

Obiective de învățare:

• Proiectarea arhitecturilor AI sigure de la zero.
• Implementarea monitorizării și răspunsului la incidente pentru sistemele AI.
• Crearea cadrelor de guvernanță pentru securitatea AI.

Subiecte acoperite:

Ciclul de Dezvoltare Securizat al AI:

• Principiile security-by-design pentru aplicațiile AI.
• Practici de revizuire a codului pentru integrările LLM.
• Metodologii de testare și scanare a vulnerabilităților.
• Securitatea deploy-ului și hardenirea producției.

Monitorizare și Detectare:

• Cerințe specifice AI pentru logging și monitorizare.
• Detectarea anomaliilor pentru sistemele AI.
• Proceduri de răspuns la incidente pentru evenimentele de securitate AI.
• Tehnici de forensică și investigare.

Guvernanță și Conformitate:

• Cadre și politici de management al riscurilor AI.
• Considerații privind conformitatea normativă (GDPR, AI Act etc.).
• Evaluarea riscului terților pentru furnizorii AI.
• Formare conștientizare securitate pentru echipele de dezvoltare AI.

Exercițiu practic: Proiectarea unei arhitecturi complete de securitate pentru un chatbot enterprise AI, inclusiv monitorizare, guvernanță și proceduri de răspuns la incidente.

Modulul 9: Instrumente și Tehnologii (1 oră)

Obiective de învățare:

• Evaluarea și implementarea instrumentelor de securitate AI.
• Ajungerea la înțelegerea peisajului actual al soluțiilor de securitate AI.
• Construirea capabilităților practice de detectare și prevenire.

Subiecte acoperite:

• Ecosistemul instrumentelor de securitate AI și peisajul furnizorilor.
• Instrumente open-source: Garak, PyRIT, Giskard.
• Soluții comerciale pentru securitatea și monitorizarea AI.
• Modele de integrare și strategii de deploy.
• Criterii de selectare a instrumentelor și cadre de evaluare.

Exercițiu practic: Demonstratie hands-on a instrumentelor de testare a securității AI și planificare implementare.

Modulul 10: Tendințe Viitoare și Încheiere (1 oră)

Obiective de învățare:

• Ajungerea la înțelegerea amenințărilor emergente și a provocărilor viitoare de securitate.
• Dezvoltarea strategiilor de învățare continuă și îmbunătățire.
• Crearea planurilor de acțiune pentru programele organizaționale de securitate AI.

Subiecte acoperite:

• Amenințări emergente: Deepfakes, injecție avansată de prompturi, inversarea modelelor.
• Dezvoltări viitoare ale proiectului OWASP GenAI și road-map.
• Construirea comunităților de securitate AI și schimb de cunoștințe.
• Îmbunătățire continuă și integrarea inteligenței despre amenințări.

Exercițiu Planificare Acțiune: Dezvoltarea unui plan de acțiune pe 90 de zile pentru implementarea practicilor OWASP GenAI Security în organizațiile participanților.