Curs de pregatire AI Agentic sigur și securizat: Guvernanță, Identitate și Red-Teaming

Fundamente: Modele de amenințare pentru AI-ul agentic

• Tipuri de amenințări agentice: utilizare abuzivă, escaladare, scurgeri de date și riscuri de supply-chain
• Profiluri de adversari și capabilități de atac specifice agenților autonomi
• Cartografierea activelor, a limitelor de încredere și a punctelor critice de control pentru agenți

Guvernanță, politici și managementul riscului

• Cadre de guvernanță pentru sistemele agentice (roluri, responsabilități, porți de aprobare)
• Proiectarea politicilor: utilizare acceptabilă, reguli de escaladare, gestionarea datelor și auditabilitate
• Considerații de conformitate și colectarea de dovezi pentru audituri

Identitate non-umană și autentificare pentru agenți

• Proiectarea identităților pentru agenți: conturi de serviciu, JWT-uri și credențiale pe termen scurt
• Modele de acces cu privilegiu minim și credentialing just-in-time
• Ciclul de viață al identității, rotația, delegarea și strategiile de revocare

Controale de acces, secrete și protecția datelor

• Modele de control al accesului cu granularitate fină și modele bazate pe capabilități pentru agenți
• Managementul secretelor, criptarea în tranzit și la repaus și minimizarea datelor
• Protejarea surselor de cunoștințe sensibile și a datelor personale împotriva accesului neautorizat al agenților

Observabilitate, auditare și răspuns la incidente

• Proiectarea telemetriei pentru comportamentul agenților: urmărirea intențiilor, jurnale de comenzi și proveniență
• Integrarea SIEM, praguri de alertare și pregătirea pentru investigații forensice
• Runbook-uri și playbook-uri pentru incidente legate de agenți și izolare

Red-teaming pentru sistemele agentice

• Planificarea exercițiilor de red-team: scop, reguli de angajament și failover sigur
• Tehnici adversare: prompt injection, utilizarea abuzivă a instrumentelor, manipularea chain-of-thought și abuzul de API-uri
• Efectuarea de atacuri controlate și măsurarea expunerii și impactului

Întărirea securității și atenuări

• Controale de inginerie: limitarea răspunsurilor, capability gating și sandboxing
• Controale de politici și orchestrare: fluxuri de aprobare, human-in-the-loop și mecanisme de guvernanță
• Apărări la nivel de model și prompt: validarea inputului, canonicalizare și filtre de output

Operaționalizarea implementărilor sigure de agenți

• Modele de implementare: staging, canary și lansare progresivă pentru agenți
• Controlul schimbărilor, pipeline-uri de testare și verificări de siguranță înainte de implementare
• Guvernanță interfuncțională: playbook-uri de securitate, juridice, de produs și operațiuni

Proiect final: Exercițiu red-team / blue-team

• Executarea unui atac simulat de red-team împotriva unui mediu de agenți sandboxed
• Apărarea, detectarea și remedierea din perspectiva echipei blue, folosind controale și telemetrie
• Prezentarea constatărilor, planului de remediere și actualizărilor de politici

Rezumat și pașii următori