Schița de curs

Fundamente: Modele de Amenințare pentru AI Agențială

  • Tipuri de amenințări agențiale: abuz, escaladare, furt de date și riscuri în lanțul de aprovizionare
  • Proiecte adversary și capacități specifice agentelor autonome
  • Mapearea activelor, frontierelor de încredere și punctelor de control critice pentru agenți

Guvernanță, Politici și Gestioneaza Riscuri

  • Cadre de guvernanță pentru sisteme agențiale (roluri, responsabilități, poarta de aprobare)
  • Proiectarea politicilor: utilizare acceptabilă, reguli de escaladare, gestionarea datelor și auditabilitate
  • Considerente privind conformitatea și colectarea de dovezi pentru audituri

Identitate Non-Umană și Autentificare pentru Agenți

  • Proiectarea identităților pentru agenți: conturi de servicii, JWT-uri și credențiale cu durată de viață scurtă
  • Modele de acces cu privilegii minime și credențializare just-in-time
  • Ciclul de viață al identităților, rotirea, delegarea și revocarea strategiilor

Controale de Acces, Secreturi și Protecția Datelor

  • Modele de control de acces cu gradare fină și pătrune fără privilegii pentru agenți
  • Gestionația secretelor, criptarea în tranzit și la nivel local, și minimizarea datelor
  • Protejați sursele de cunoștințe sensibile și PII împotriva accesului neautorizat al agenților

Observabilitate, Auditare și Răspuns la Incidențe

  • Proiectarea telemetriei pentru comportamentul agenților: urmărirea intențiilor, jurnale de comandă și origine
  • Integrare cu SIEM, praguri ale alertelor și pregătirea forense
  • Ghiduri operaționale și plâns pentru incidențele legate de agenți și conținerea acestora

Testarea Adversară a Sistemelor Agențiale

  • Planificarea exercițiilor de echipă roșie: scop, reguli ale angajamentului și failover sigur
  • Tehnici adversare: injectarea prompt-urilor, abuzul cu unelții, manipularea lanțului de gândire și abuzul API
  • Conducerea atacurilor controlate și măsurarea expunerii și impactului

Îmbunătățirea și Mitigarea Riscurilor

  • Controale ingineristice: reglaje de răspuns, înghețare a capacitatelor și sandboxing
  • Controale politice și orchestrate: fluxuri de aprobare, omul în buclă și uncii de guvernanță
  • Defenșe la nivel de model și prompt: validarea input-ului, canonizarea și filtrele output

Operaționalizarea Implementărilor Sigure ale Agenților

  • Modele de implementare: staging, canary și roll-out progresiv pentru agenți
  • Controlul schimbărilor, pipeline-urile de testare și verificările de siguranță pre-deploy
  • Guvernanță transfuncțională: ghiduri operaționale pentru securitate, legal, produs și operățiuni

Proiect Final: Exercițiu Echipă Roșie / Echipă Albastră

  • Executarea unui atac simulat de echipă roșie împotriva unei medii sandboxed ale agențiului
  • Apărarea, detectarea și remediarea ca echipă albastră folosind controale și telemetrie
  • Prezentarea descoperirilor, planului de remediere și actualizărilor politicilor

Rezumat și Următoarele Pași

Cerințe

  • Bază solidă în ingineria securității, administrarea sistemelor sau operațiunile cloud
  • Cunoaștere a conceptelor AI/ML și comportamentul modelurilor de limbaj mari (LLM)
  • Experiență cu gestionarea identității și accesului (IAM) și proiectarea sistemelor securizate

Audiență

  • Ingineri de securitate și membri ai echipei roșie (red-teamers)
  • Ingineri operaționali și de platformă AI
  • Ofițeri de conformitate și manageri de risc
  • Conducătorii ingineriei responsabili pentru implementările de agenți
 21 ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite