Schița de curs
Introducere în Red Teaming AI
- Înțelegerea peisajului de amenințări AI
- Rolul echipelor roșii în securitatea AI
- Considerații etice și legale
Învățarea Adversă a Mașinilor
- Tipuri de atacuri: evaziune, otrăvire, extragere, inferență
- Generarea de exemple adverse (de exemplu, FGSM, PGD)
- Atacuri țintite vs. nețintite și metrici de succes
Testarea Robusteței Modelelor
- Evaluarea robusteței sub perturbații
- Explorarea punctelor slabe și a modurilor de eșec ale modelelor
- Testarea de stres a modelelor de clasificare, viziune și NLP
Red Teaming a Fluxurilor AI
- Suprafața de atac a fluxurilor AI: date, model, implementare
- Exploatarea API-urilor și punctelor finale nesecurizate ale modelelor
- Ingineria inversă a comportamentului și a rezultatelor modelelor
Simulare și Instrumente
- Utilizarea Adversarial Robustness Toolbox (ART)
- Red teaming cu instrumente precum TextAttack și IBM ART
- Instrumente de sandboxing, monitorizare și observabilitate
Strategia Red Teaming AI și Colaborarea cu Echipa de Apărare
- Dezvoltarea exercițiilor și obiectivelor echipelor roșii
- Comunicarea rezultatelor către echipele albastre
- Integrarea red teaming-ului în managementul riscurilor AI
Rezumat și Pași Următori
Cerințe
- Înțelegere a arhitecturilor de învățare automată și învățare profundă
- Experiență cu Python și framework-uri de ML (de exemplu, TensorFlow, PyTorch)
- Familiaritate cu concepte de securitate cibernetică sau tehnici de securitate ofensivă
Publicul țintă
- Cercetători în securitate
- Echipe de securitate ofensivă
- Profesioniști în asigurarea AI și red teaming
Mărturii (2)
Mi-a plăcut foarte mult să învăț despre atacurile de IA și despre instrumentele disponibile pentru a începe să exersez și să le folosesc în mod activ pentru testarea securității. Am acumulat o mulțime de cunoștințe pe care nu le aveam la început, iar cursul a îndeplinit ceea ce speram. Partea mea preferată din training a fost Comet Browser și am fost uimit de ceea ce poate face. Cu siguranță este ceva ce voi explora mai mult. În general, a fost un curs excelent și m-am bucurat să învăț totul despre OWASP GenAI Top 10.
Patrick Collins - Optum
Curs - OWASP GenAI Security
Tradus de catre o masina
Cunoașterea profesională și modul în care ne-a prezentat-o
Miroslav Nachev - PUBLIC COURSE
Curs - Cybersecurity in AI Systems
Tradus de catre o masina