Curs de pregatire OWASP GenAI Security

Ziua 1: Fundamente și amenințări de bază

Modulul 1: Introducere în Proiectul OWASP GenAI Security (1 oră)

Obiective de învățare:

• Înțelegerea evoluției de la OWASP Top 10 la provocările de securitate specifice GenAI
• Explorarea ecosistemului și resurselor Proiectului OWASP GenAI Security
• Identificarea diferențelor cheie dintre securitatea tradițională a aplicațiilor și securitatea AI

Subiecte acoperite:

• Prezentare generală a misiunii și domeniului de aplicare al Proiectului OWASP GenAI Security
• Introducere în cadrul Threat Defense COMPASS
• Înțelegerea peisajului securității AI și a cerințelor de reglementare
• Suprafețe de atac AI vs vulnerabilități tradiționale ale aplicațiilor web

Exercițiu practic: Configurarea instrumentului OWASP Threat Defense COMPASS și efectuarea evaluării inițiale a amenințărilor

Modulul 2: OWASP Top 10 pentru LLM - Partea 1 (2,5 ore)

Obiective de învățare:

• Stăpânirea primelor cinci vulnerabilități critice LLM
• Înțelegerea vectorilor de atac și a tehnicilor de exploatare
• Aplicarea strategiilor practice de atenuare

Subiecte acoperite:

LLM01: Injectare de prompturi

• Tehnici de injectare directă și indirectă de prompturi
• Atacuri cu instrucțiuni ascunse și contaminare între prompturi
• Exemple practice: Jailbreaking chatbot-uri și ocolirea măsurilor de siguranță
• Strategii de apărare: Sanitizarea intrărilor, filtrarea prompturilor, confidențialitate diferențială

LLM02: Dezvăluirea informațiilor sensibile

• Extragerea datelor de antrenament și scurgerea prompturilor de sistem
• Analiza comportamentului modelului pentru expunerea informațiilor sensibile
• Implicații privind confidențialitatea și considerente de conformitate cu reglementările
• Atenuare: Filtrarea ieșirilor, controale de acces, anonimizarea datelor

LLM03: Vulnerabilități ale lanțului de aprovizionare

• Dependențe de modele terțe și securitatea plugin-urilor
• Seturi de date de antrenament compromise și otrăvirea modelelor
• Evaluarea riscurilor furnizorilor pentru componentele AI
• Practici securizate de implementare și verificare a modelelor

Exercițiu practic: Laborator hands-on demonstrând atacuri de injectare de prompturi împotriva aplicațiilor LLM vulnerabile și implementarea măsurilor defensive

Modulul 3: OWASP Top 10 pentru LLM - Partea 2 (2 ore)

Subiecte acoperite:

LLM04: Otrăvirea datelor și a modelelor

• Tehnici de manipulare a datelor de antrenament
• Modificarea comportamentului modelului prin intrări otrăvite
• Atacuri backdoor și verificarea integrității datelor
• Prevenire: Conducte de validare a datelor, urmărirea provenienței

LLM05: Gestionarea necorespunzătoare a ieșirilor

• Procesarea nesigură a conținutului generat de LLM
• Injectarea de cod prin ieșiri generate de AI
• Cross-site scripting prin răspunsuri AI
• Cadre de validare și sanitizare a ieșirilor

Exercițiu practic: Simularea atacurilor de otrăvire a datelor și implementarea unor mecanisme robuste de validare a ieșirilor

Modulul 4: Amenințări LLM avansate (1,5 ore)

Subiecte acoperite:

LLM06: Agenție excesivă

• Riscuri ale luării autonome a deciziilor și încălcări ale limitelor
• Gestionarea autorității și permisiunilor agenților
• Interacțiuni neintenționate cu sistemul și escaladarea privilegiilor
• Implementarea guardrails și a controalelor de supraveghere umană

LLM07: Scurgerea prompturilor de sistem

• Vulnerabilități de expunere a instrucțiunilor de sistem
• Dezvăluirea credențialelor și a logicii prin prompturi
• Tehnici de atac pentru extragerea prompturilor de sistem
• Securizarea instrucțiunilor de sistem și a configurației externe

Exercițiu practic: Proiectarea unor arhitecturi sigure de agenți cu controale de acces și monitorizare adecvate

Ziua 2: Amenințări avansate și implementare

Modulul 5: Amenințări AI emergente (2 ore)

Obiective de învățare:

• Înțelegerea amenințărilor de securitate AI de ultimă oră
• Implementarea tehnicilor avansate de detectare și prevenire
• Proiectarea unor sisteme AI reziliente împotriva atacurilor sofisticate

Subiecte acoperite:

LLM08: Slăbiciuni ale vectorilor și embedding-urilor

• Vulnerabilități ale sistemelor RAG și securitatea bazelor de date vectoriale
• Otrăvirea embedding-urilor și atacuri de manipulare a similarității
• Exemple adversariale în căutarea semantică
• Securizarea stocărilor vectoriale și implementarea detectării anomaliilor

LLM09: Dezinformare și fiabilitatea modelului

• Detectarea și atenuarea halucinațiilor
• Amplificarea bias-ului și considerente de echitate
• Mecanisme de verificare a faptelor și a surselor
• Validarea conținutului și integrarea supravegherii umane

LLM10: Consum nelimitat

• Epuizarea resurselor și atacuri de tip denial-of-service
• Strategii de limitare a ratei și gestionare a resurselor
• Optimizarea costurilor și controale bugetare
• Sisteme de monitorizare a performanței și de alertare

Exercițiu practic: Construirea unei conducte RAG sigure cu protecția bazei de date vectoriale și detectarea halucinațiilor

Modulul 6: Securitatea AI agentice (2 ore)

Obiective de învățare:

• Înțelegerea provocărilor unice de securitate ale agenților AI autonomi
• Aplicarea taxonomiei OWASP Agentic AI la sisteme din lumea reală
• Implementarea controalelor de securitate pentru medii multi-agent

Subiecte acoperite:

• Introducere în AI agentic și sisteme autonome
• Taxonomia amenințărilor OWASP Agentic AI: Proiectarea agenților, Memorie, Planificare, Utilizarea instrumentelor, Implementare
• Securitatea sistemelor multi-agent și riscuri de coordonare
• Utilizarea abuzivă a instrumentelor, otrăvirea memoriei și atacuri de deturnare a obiectivelor
• Securizarea comunicării agenților și a proceselor decizionale

Exercițiu practic: Exercițiu de modelare a amenințărilor folosind taxonomia OWASP Agentic AI pe un sistem multi-agent de servicii pentru clienți

Modulul 7: Implementarea OWASP Threat Defense COMPASS (2 ore)

Obiective de învățare:

• Stăpânirea aplicării practice a Threat Defense COMPASS
• Integrarea evaluării amenințărilor AI în programele de securitate organizațională
• Dezvoltarea unor strategii cuprinzătoare de gestionare a riscurilor AI

Subiecte acoperite:

• Analiză aprofundată a metodologiei Threat Defense COMPASS
• Integrarea buclei OODA: Observă, Orientează, Decide, Acționează
• Maparea amenințărilor la cadrele MITRE ATT&CK și ATLAS
• Construirea unor tablouri de bord pentru strategia de reziliență la amenințările AI
• Integrarea cu instrumentele și procesele de securitate existente

Exercițiu practic: Evaluare completă a amenințărilor folosind COMPASS pentru un scenariu de implementare Microsoft Copilot

Modulul 8: Implementare practică și bune practici (2,5 ore)

Obiective de învățare:

• Proiectarea unor arhitecturi AI sigure de la zero
• Implementarea monitorizării și a răspunsului la incidente pentru sistemele AI
• Crearea cadrelor de guvernanță pentru securitatea AI

Subiecte acoperite:

Ciclul de viață al dezvoltării AI sigure:

• Principii de securitate prin design pentru aplicațiile AI
• Practici de revizuire a codului pentru integrările LLM
• Metodologii de testare și scanare a vulnerabilităților
• Securitatea implementării și hardening în producție

Monitorizare și detectare:

• Cerințe de logging și monitorizare specifice AI
• Detectarea anomaliilor pentru sistemele AI
• Proceduri de răspuns la incidente pentru evenimentele de securitate AI
• Tehnici forensice și de investigare

Guvernanță și conformitate:

• Cadre și politici de gestionare a riscurilor AI
• Considerente de conformitate cu reglementările (GDPR, AI Act etc.)
• Evaluarea riscurilor terților pentru furnizorii AI
• Training de conștientizare a securității pentru echipele de dezvoltare AI

Exercițiu practic: Proiectarea unei arhitecturi complete de securitate pentru un chatbot AI enterprise, inclusiv monitorizare, guvernanță și proceduri de răspuns la incidente

Modulul 9: Instrumente și tehnologii (1 oră)

Obiective de învățare:

• Evaluarea și implementarea instrumentelor de securitate AI
• Înțelegerea peisajului actual al soluțiilor de securitate AI
• Construirea capacităților practice de detectare și prevenire

Subiecte acoperite:

• Ecosistemul instrumentelor de securitate AI și peisajul furnizorilor
• Instrumente de securitate open-source: Garak, PyRIT, Giskard
• Soluții comerciale pentru securitatea și monitorizarea AI
• Modele de integrare și strategii de implementare
• Criterii de selecție a instrumentelor și cadre de evaluare

Exercițiu practic: Demonstrație hands-on a instrumentelor de testare a securității AI și planificarea implementării

Modulul 10: Tendințe viitoare și încheiere (1 oră)

Obiective de învățare:

• Înțelegerea amenințărilor emergente și a provocărilor viitoare de securitate
• Dezvoltarea strategiilor de învățare continuă și îmbunătățire
• Crearea planurilor de acțiune pentru programele de securitate AI organizațională

Subiecte acoperite:

• Amenințări emergente: Deepfakes, injectare avansată de prompturi, inversarea modelelor
• Dezvoltări viitoare și foaia de parcurs a proiectului OWASP GenAI
• Construirea comunităților de securitate AI și partajarea cunoștințelor
• Îmbunătățire continuă și integrarea informațiilor despre amenințări

Exercițiu de planificare a acțiunilor: Dezvoltarea unui plan de acțiune pe 90 de zile pentru implementarea practicilor de securitate OWASP GenAI în organizațiile participanților