Schița de curs
Modulul 1 — Cum se defectează aplicațiile AI
Laborator: niciunul — prezentare arhitecturală și discuție
Un model mental al constructorului pentru suprafața de atac.
Subiecte:
- Arhitecturile LLM, RAG și ale agenților din perspectiva dezvoltatorului
- Ciclu de viață cerere/răspuns al unei funcționalități AI
- Fluxul prompturilor: mesaje de sistem, dezvoltator, utilizator și instrumente
- Unde intră (și reintră) datele neîncrezute în model
- Limitele de încredere pe care le deține un dezvoltator vs. cele moștenite
- De ce atacurile AI sunt semantice, nu sintactice
- Maparea OWASP LLM Top 10 la codul pe care îl scrii
Idee cheie: Fiecare loc în care textul neîncrezut ajunge la model — sau ieșirea modelului ajunge la codul tău — este o limită pe care o deții.
Modulul 2 — Injecția de Prompt pentru Constructori
Laborator: Lab 01 — 01-Prompt-Injection
„Momentul injecției SQL” pentru AI — dar nu poți scăpa complet de el.
Subiecte:
- injecție de prompt directă vs. indirectă
- instrucțiuni ascunse în documente, pagini web, ieșirea instrumentelor
- jailbreak-uri și confuzie de roluri
- de ce separarea instrucțiunilor/datelor contează
- design defensiv al prompturilor (delimitatori, structură, autoritate minimă)
- de ce prevenția este parțială — proiectează pentru conținere
Exerciții practice:
- atacă propriul chatbot
- ocolește un filtru naiv
- restructurează promptul pentru a reduce raza de acțiune
Modulul 3 — Tratarea Ieșirii Modelului ca Neîncrezută
Laborator: Lab 02 — 02-Output-Handling
Clasa de bug-uri pe care dezvoltatorii o subestimează cel mai mult.
Subiecte:
- ieșirea modelului ca input neîncrezut pentru restul aplicației
- gestionarea nesigură a ieșirii (LLM02): XSS, SSRF, injecție de comenzi/SQL downstream
- nu eval/exec/renda ieșirea brută a modelului
- ieșiri structurate și validarea schemei
- codificarea ieșirii și allowlist-uri
- randare sigură în contexte web/UI
Exerciții practice:
- găsește și repară o vulnerabilitate de gestionare nesigură a ieșirii
- aplică o schemă JSON pe răspunsurile modelului
Modulul 4 — Securitatea RAG
Laborator: Lab 03 — 03-RAG-Security
Una dintre cele mai mari suprafețe de atac noi — și este a ta de construit.
Subiecte:
- amenințări la adresa bazei de date vectoriale și a retragerii
- sanitizarea ingestiei
- proveniența documentelor și scorul de încredere
- scopul retragerii și izolarea metadatelor
- instrucțiuni ascunse în conținutul recuperat (injecție indirectă)
- exfiltrarea datelor prin retragere
Exerciții practice: - otrăvește o conductă RAG cu un document malitios - adaugă sanitizare la ingestie și scop la retragere pentru a o apăra
Modulul 5 — Siguranța Agenților și Instrumentelor
Laborator: Lab 04 — 04-Agent-Safety
Unde un bug devine o acțiune.
Subiecte:
- exces de agenție (LLM06) și abuzul de instrumente
- principiul celor mai mici privilegii pentru agenți
- allowlist-uri pentru instrumente și validarea argumentelor
- porți de aprobare și om-in-buclă
- execuția instrumentelor în sandbox
- credentiale cu domeniu de aplicare și de scurtă durată pentru agenți
- limitarea buclelor și lanțurilor autonome
Exerciții practice:
- blochează un agent cu prea multe permisiuni
- adaugă un allowlist + poartă de aprobare la un instrument periculos
Modulul 6 — Secrete, Identitate și Costuri
Laborator: Lab 05 — 05-Secrets-and-Cost
Greșelile operaționale care lovesc cel mai repede.
Subiecte:
- gestionarea cheilor API și a secretelor (niciodată în prompturi, cod sau loguri)
- autentificare și autorizare per utilizator pentru funcționalități AI
- propagarea identității utilizatorului către instrumente și retragere
- denial-of-wallet: consum nelimitat de tokeni/costuri
- limite de rată, bugete de tokeni și timeout-uri
- logare fără scurgere de secrete sau PII
Exerciții practice:
- scapă de secrete din calea promptului/codului
- adaugă limite de rată per utilizator și un buget de tokeni/costuri
Modulul 7 — Biblioteci de Gardă
Laborator: Lab 06 — 06-Guardrails
Cumpără vs. construiește pentru siguranța inputului/ieșirii.
Subiecte:
- ce fac (și ce nu fac) framework-urile de gardă
- garduri de input: clasificatoare de injecție/PII/subiecte
- garduri de ieșire: validare, filtrare, verificări de bază
- când este potrivită o gardă vs. propria verificare deterministă
- stratificarea gardurilor cu controalele din modulele anterioare
- performanță, fals pozitive și moduri de eșec
Exerciții practice:
- adaugă un strat de gardă pentru input/ieșire la o funcționalitate AI
- măsoară ce prinde și ce ratează
Modulul 8 — Testarea Proprii Aplicații prin Red-Teaming
Laborator: Lab 07 — 07-Red-Teaming
Lansează-o de parcă un atacator o are deja.
Subiecte:
- construirea unui set de teste de abuz pentru funcționalități AI
- teste automate de injecție de prompt și jailbreak
- teste de regresie pentru garduri și politici
- rularea verificărilor de securitate AI în CI
- lanțul de aprovizionare al modelului și dependențelor (proveniență, fixare)
- o listă de verificare pre-lansare pentru funcționalități AI
Exerciții practice:
- scrie teste automate red-team pentru o funcționalitate AI
- conectează-le la o verificare CI
Modulul 9 — Scorul Securității AI: Cadrul SAIS-100
Laborator: niciunul — exercițiu de notare (folosește aplicația Capstone)
Transformă tot ce ai construit într-un scor repetabil.
Subiecte:
- Hexagonul Securității AI: șase întrebări în loc de „este sigur?”
- cele șase categorii notate (Date, Prompt, Agent, Lanț de Aprovizionare, Detecție, Guvernanță)
- rubrica de 100 de puncte și ponderile sale
- benzile de verdict și regula suprascrierii pe o singură categorie
- Scorul Securizat AI Elephant Scale (SAIS-100) ca un cadru branduit și reutilizabil
- notarea înainte/după întărire ca metrică
Exerciții practice:
- notează aplicația Capstone pe scara de 100 de puncte
- numește singura schimbare care ridică cel mai mult scorul
Idee cheie: Cele trei categorii cu cea mai mare pondere mapează limitele de încredere pe care le deține un dezvoltator — așa că scorul măsoară exact ceea ce a învățat acest curs.
Capstone
Studenții întăresc o aplicație AI deliberat vulnerabilă de la cap la coadă.
Aplicația inițială conține:
- un prompt injectabil
- gestionare nesigură a ieșirii
- o conductă RAG neacoperită
- un agent cu prea multe permisiuni
- secrete în calea promptului
- niciun limitator de costuri
Studenții aplică cursul:
- restructurează prompturile pentru conținere
- validează și codifică ieșirea modelului
- sanitizează și acoperă retragerea
- aplică principiul celor mai mici privilegii și porți de aprobare la agent
- mută secretele și adaugă limite de cost/rată
- adaugă garduri și teste automate red-team
Rezultat: o aplicație întărită plus o scurtă autoevaluare OWASP LLM Top 10.
Modul - Mapare Laborator
Laboratoarele rulează în ordinea laboratoarelor, care urmează ordinea modulelor. Cursul are 9 module și 7 laboratoare: Modulul 1 este o prezentare arhitecturală/discuție, iar Modulul 9 este un exercițiu de notare, așa că niciunul nu are propriul folder de laborator.
- Laboratorul 01 - 01-Prompt-Injection: Atacă-ți chatbotul și proiectează pentru conținere (Modulul 2)
- Laboratorul 02 - 02-Output-Handling: Repară un bug de gestionare nesigură a ieșirii (Modulul 3)
- Laboratorul 03 - 03-RAG-Security: Otrăvește, apoi apără o conductă RAG (Modulul 4)
- Laboratorul 04 - 04-Agent-Safety: Blochează un agent cu prea multe permisiuni (Modulul 5)
- Laboratorul 05 - 05-Secrets-and-Cost: Securizează chei și adaugă garduri de cost (Modulul 6)
- Laboratorul 06 - 06-Guardrails: Adaugă un strat de gardă pentru input/ieșire (Modulul 7)
- Laboratorul 07 - 07-Red-Teaming: Teste automate red-team în CI (Modulul 8)
Modulul 1 (Cum se defectează aplicațiile AI) nu are laborator — rulează ca o prezentare arhitecturală și discuție. Modulul 9 (Scorul Securității AI) nu are folder de laborator — rulează ca un exercițiu de notare pe aplicația Capstone.
Cerințe
- Nivel de competență: Intermediar.
- Studenții ar trebui să fie confortabili cu: construirea și consumarea de API-uri REST, un limbaj de scripting (lucrările de laborator folosesc Python), autentificarea de bază a aplicațiilor, git și CLI.
- Nu este necesară o experiență în machine learning — acesta este un curs de securitate a aplicațiilor pentru cei care construiesc cu LLM-uri, nu pentru cei care le antrenează.
Public țintă
- Ingineri de software / backend care construiesc funcționalități LLM
- Dezvoltatori full-stack și de API
- Ingineri de aplicații AI/ML
- Ingineri de platformă care lansează copiloți și agenți
- Tech lead-uri și ingineri seniori care dețin funcționalități AI
Mărturii (2)
Mi-a plăcut foarte mult să învăț despre atacurile de IA și despre instrumentele disponibile pentru a începe să exersez și să le folosesc în mod activ pentru testarea securității. Am acumulat o mulțime de cunoștințe pe care nu le aveam la început, iar cursul a îndeplinit ceea ce speram. Partea mea preferată din training a fost Comet Browser și am fost uimit de ceea ce poate face. Cu siguranță este ceva ce voi explora mai mult. În general, a fost un curs excelent și m-am bucurat să învăț totul despre OWASP GenAI Top 10.
Patrick Collins - Optum
Curs - OWASP GenAI Security
Tradus de catre o masina
Cunoașterea profesională și modul în care ne-a prezentat-o
Miroslav Nachev - PUBLIC COURSE
Curs - Cybersecurity in AI Systems
Tradus de catre o masina
