Schița de curs
Modulul 1 — Sisteme AI pentru ingineri de securitate
Laborator: Laborator 01 — 01-Introducere
Înțelegerea arhitecturii.
Subiecte:
- LLM vs aplicații normale
- Pipeline-uri de inferență AI
- Fluxul de prompturi
- Arhitectura RAG
- încorporări/baze de date vectoriale
- fluxuri de lucru agentice
- apelarea instrumentelor
- gateway-uri AI
- copiloți
- MCP și protocoale de agenți
- unde există vizibilitatea WAF
- unde dispare vizibilitatea WAF
Insight cheie: WAF-urile tradiționale pierd adesea vizibilitatea după ce promptul ajunge la model.
Modulul 2 — OWASP GenAI Top 10
Laborator: niciunul — recapitulare/discuție interactivă
Categorii de bază ale atacurilor AI.
Subiecte:
- Injecția de prompturi
- Gestionarea nesigură a ieșirilor
- Otrăvirea datelor de antrenament
- DoS al modelului
- Vulnerabilități din lanțul de aprovizionare
- Dezvăluirea de informații sensibile
- Agenție excesivă
- Slăbiciuni ale vectorilor/încorporărilor
- Dezinformare
- Consum nelimitat
Include:
- Diferențe față de OWASP clasic
- Maparea controalelor defensive (WAF, gateway, stratul de aplicație)
- Unde ajută fiecare control
- Unde eșuează fiecare control
Modulul 3 — Detectarea injecției de prompturi
Laborator: Laborator 02 — 02-Injecție-de-prompturi
„Momentul injecției SQL” pentru AI.
Subiecte:
- Injecția directă de prompturi
- Injecția indirectă de prompturi
- Instrucțiuni ascunse
- Atacuri bazate pe documente
- Injecție HTML/Markdown
- Modele de jailbreak
- Atacuri de suprascriere a contextului
- Atacuri de confuzie a rolurilor
Strategii de detectare:
- euristici bazate pe cuvinte cheie
- clasificare semantică
- linting de prompturi
- aplicarea limitelor de instrucțiuni
- politici de permisiune/respingere
- modele regex conștiente de AI
Laboratoare practice:
- Atacă un chatbot
- Ocolește filtre naive
- Construiește detectare stratificată
Modulul 4 — Reguli WAF conștiente de AI
Laborator: Laborator 03 — 03-Baze-WAF
Cum evoluează regulile WAF pentru sistemele AI.
- Subiecte:
- protejarea punctelor finale LLM
- protecția API-urilor de inferență
- limitarea ratei bazată pe tokeni
- inspecția dimensiunii prompturilor
- semnături specifice AI
- detectarea anomaliilor în conversații
- modele de abuz multi-turn
- încercări de enumerare a modelelor
- scraping de inferență
- protecția împotriva atacurilor denial-of-wallet
Exemple:
- protejarea /v1/chat/completions
- apărarea API-urilor de streaming
- blocarea apelurilor recursive ale agenților
Modulul 5 — Securizarea pipeline-urilor RAG
Laborator: Laborator 04 — 04-Securitate-RAG
Una dintre cele mai noi suprafețe de atac.
Subiecte:
- amenințări ale bazelor de date vectoriale
- otrăvirea încorporărilor
- PDF-uri/documente malitioase
- manipularea recuperării
- otrăvire semantică
- instrucțiuni ascunse în documente
- contaminare între documente
- exfiltrarea de date prin recuperare
Apărări:
- sanitizarea în timpul ingerării
- scoruri de încredere
- izolarea metadatelor
- proveniența documentelor
- politici de recuperare
- segmentare
Studiu de caz: „Încarcă un PDF otrăvit și preia controlul asistentului AI.”
Modulul 6 — Securitatea AI Agentic
Laborator: Laborator 05 — 05-Securitate-Agenți
Unde lucrurile devin periculoase.
Subiecte:
- agenție excesivă
- abuzul de instrumente
- înlănțuirea API-urilor
- bucle autonome
- escaladarea permisiunilor
- otrăvirea memoriei
- execuția indirectă a instrumentelor
- impersonificarea agenților
- scurgerea de credențiale
- atacuri multi-agent
Apărări:
- privilegii minime pentru agenți
- porți de aprobare
- motoare de politici în timp real
- sandboxing
- credențiale cu scop limitat
- listă albă de instrumente
- prezența umană în buclă
Aceasta este secțiunea de care managerii se îngrijorează cel mai mult, deoarece riscul devine operațional și impactant pentru afaceri.
Modulul 7 — Securitatea API-urilor pentru AI
Laborator: Laborator 06 — 06-Denial-of-Wallet
Sistemele AI sunt bogate în API-uri.
Subiecte:
- gateway-uri API
- Riscuri AI în GraphQL
- Abuzul MCP/API
- Protecția JWT
- Securitatea plugin-urilor AI
- Autentificarea agenților
- Autorizarea delegată
- Gestiunea secretelor
- Prompturi semnate
- Inventarul API-urilor pentru AI
Legătură cu: OWASP API Security Top 10
Modulul 8 — Ingineria de detectare & Integrarea SOC
Laborator: Laborator 07 — 07-Detectare
Apărare operațională.
Subiecte:
- Telemetrie AI
- Logarea prompturilor
- Analiza tokenilor
- Detectarea anomaliilor
- Pipeline-uri SIEM semantice
- Indicatori de atac AI
- Vânătoarea de amenințări pentru abuzul LLM
- Observabilitatea în timp real a AI
Exemple:
- detectarea campaniilor de jailbreak
- identificarea abuzului automat de agenți
- identificarea scraping-ului de modele
Modulul 9 — WAF-uri în cloud și securitatea AI
Laborator: niciunul — recapitulare/discuție interactivă
Implementări specifice furnizorilor.
Subiecte:
- AWS WAF pentru API-uri AI
- Azure WAF
- Cloudflare AI Gateway
- Gateway-uri API
- Filtrarea AI în Envoy
- Kong AI Gateway
- Modele de securitate AI în NGINX
Comparație:
- WAF tradițional vs gateway AI vs barieră la nivel de aplicație
- Filtrare bazată pe proxy vs filtrare semantică
Modulul 10 — Construirea unei apărări stratificate pentru AI
Laborator: Laborator 08 — 08-Apărare-Stratificată
Concluzie filosofică importantă:
Niciun strat singur nu poate securiza AI (un WAF, cel mai puțin, singur).
Studenții construiesc un model stratificat:
- WAF
- Gateway API
- Gateway AI
- Bariere
- Monitorizare în timp real
- Identitate/autorizare
- Sandbox
- Aprobare umană
- Observabilitate
- Răspuns la incidente
Aceasta se aliniază puternic cu modelul de „securitate multi-strat”.
Modul ↔ Harta laboratoarelor
Laboratoarele rulează în ordinea laboratoarelor, care urmează ordinea modulelor.
Cursul are 10 module, dar 8 laboratoare: Modulele 2 și 9 sunt recapitulări/discuții interactive și nu au laborator.
Fiecare laborator este etichetat cu modulul său în această schiță.
- Laborator 01 (Modulul 1)
- Director: 01-Introducere
- Titlu: Explorează un sistem AI — ce este pe fir
- Laborator 02 (Modulul 3)
- Director: 02-Injecție-de-prompturi
- Titlu: Atacă un chatbot & ocolește filtrarea naivă
- Laborator 03 (Modulul 4)
- Director: 03-Baze-WAF
- Titlu: Construiește reguli WAF conștiente de AI
- Laborator 04 (Modulul 5)
- Director: 04-Securitate-RAG
- Titlu: Otrăvește un pipeline RAG
- Laborator 05 (Modulul 6)
- Director: 05-Securitate-Agenți
- Titlu: Securizează un agent autonom
- Laborator 06 (Modulul 7)
- Director: 06-Denial-of-Wallet
- Titlu: Detectează atacuri de tip denial-of-wallet
- Laborator 07 (Modulul 8)
- Director: 07-Detectare
- Titlu: Monitorizează modele de abuz AI în loguri
- Laborator 08 (Modulul 10)
- Director: 08-Apărare-Stratificată
- Titlu: Construiește o arhitectură de apărare stratificată pentru AI
Capstone
Studenții apără un asistent AI simulat pentru întreprinderi.
Atacatorii încearcă:
- injecția de prompturi
- abuzul de instrumente
- furtul de credențiale
- otrăvirea recuperării
- consum excesiv de API
- escaladarea agenților
Echipele construiesc:
- Reguli WAF
- Politici de gateway AI
- Detectare în timp real
- Bariere
- Răspuns la incidente
Cerințe
- Studenții ar trebui să aibă deja cunoștințe despre securitatea HTTP/API, proxy-uri/proxy-uri inverse, autentificare, OWASP Top 10, API-uri REST și rețele de bază în cloud
Public țintă
- Ingineri de securitate & AppSec
- Analiști SOC & ingineri de detectare
- Ingineri de securitate API
- Securitate cloud / API / platformă
- Ingineri DevSecOps
- Arhitecți de securitate
- Specialiști în securitatea rețelei / WAF
- Ingineri de platformă AI
Mărturii (2)
Mi-a plăcut foarte mult să învăț despre atacurile de IA și despre instrumentele disponibile pentru a începe să exersez și să le folosesc în mod activ pentru testarea securității. Am acumulat o mulțime de cunoștințe pe care nu le aveam la început, iar cursul a îndeplinit ceea ce speram. Partea mea preferată din training a fost Comet Browser și am fost uimit de ceea ce poate face. Cu siguranță este ceva ce voi explora mai mult. În general, a fost un curs excelent și m-am bucurat să învăț totul despre OWASP GenAI Top 10.
Patrick Collins - Optum
Curs - OWASP GenAI Security
Tradus de catre o masina
Cunoașterea profesională și modul în care ne-a prezentat-o
Miroslav Nachev - PUBLIC COURSE
Curs - Cybersecurity in AI Systems
Tradus de catre o masina
