Intrati in legatura

Schița de curs

Implementarea Offline a EXO

  • Utilizarea EXO_OFFLINE pentru a preveni accesul la internet în timpul execuției
  • Încărcarea prealabilă a modelelor în EXO_MODELS_READ_ONLY_DIRS din surse interne de încredere
  • Verificarea integrității greutăților modelelor cu sume de control SHA-256 și fișiere de modele semnate
  • Rularea EXO în rețele aerisite fără dependențe de HuggingFace

Controlul Accesului la Panou și API

  • Instalarea și configurarea proxy-urilor inverse (nginx, Caddy) cu terminare TLS
  • Implementarea controlului accesului bazat pe roluri pentru panoul de control EXO și API-ul REST
  • Utilizarea keychain-ului macOS sau a sistemului pass Linux pentru stocarea secretelor de autentificare API
  • Restricționarea punctelor finale administrative la anumite intervale de IP-uri sursă

Izolarea Clusterelor și Securitatea Rețelei

  • Segmentarea clusterelor EXO cu EXO_LIBP2P_NAMESPACE și VLAN-uri
  • Configurarea firewall-urilor gazdă (firewall-ul de aplicații macOS, iptables, nftables) pentru porturile EXO
  • Prevenirea descoperirii neautorizate a dispozitivelor și injecției de noduri false
  • Criptarea traficului libp2p între noduri atunci când RDMA nu este disponibil

Guvernanța și Proveniența Modelelor

  • Construirea unui registru intern de modele cu liste aprobate de modele și metadate
  • Etichetarea și versionarea greutăților cuantizate (4-biți, 8-biți) alături de punctele de control sursă
  • Impunea încărcării doar a anumitor depozite HuggingFace sau artefacte interne
  • Documentarea liniei de descendență a modelelor, termenilor de licență și politicilor de utilizare acceptabilă

Jurnalizarea Auditului și Conformitatea

  • Configurarea redirecționării jurnalelor EXO către evidențe de audit imutabile (SIEM, stocare WORM)
  • Corelarea jurnalelor de apeluri API cu identitatea utilizatorului și marcajul de timp
  • Captarea evenimentelor de creare, ștergere și cereri de inferență a modelelor
  • Generarea de rapoarte periodice de conformitate pentru auditorii interni și externi

Modelarea Amenințărilor și Răspunsul la Incidente

  • Identificarea amenințărilor: exfiltrarea datelor prin ieșirile modelelor, injecția de prompturi, scurgerile pe canale laterale
  • Implementarea conductelor de monitorizare a prompturilor și filtrare de conținut
  • Crearea de manuale de răspuns la incidente pentru scenarii de compromitere a clusterelor
  • Izolarea nodurilor afectate, păstrarea jurnalelor forenzice și reconstruirea mediilor curate

Securitatea Fizică și Limitele Hardware

  • Protejarea porturilor Thunderbolt împotriva conexiunilor neautorizate de cabluri RDMA
  • Utilizarea enclavelor securizate și a atestării hardware Apple Silicon, unde este aplicabil
  • Controlul accesului fizic la calculatoarele Mac și stocarea partajată
  • Documentarea ciclului de viață al hardware-ului și a procedurilor de dezafectare

Considerații Regulatorii

  • Maparea implementărilor EXO la cerințele GDPR, HIPAA și SOC 2
  • Menținerea rezidenței datelor prin păstrarea inferenței în interiorul organizației
  • Documentarea riscurilor din lanțul de aprovizionare al furnizorilor (MLX, EXO, greutăți modele)
  • Pregătirea pentru cadre de guvernanță AI, cum ar fi Articolul 53 din Legea UE privind IA

Cerințe

  • Experiență cu EXO sau un alt runtime LLM local
  • Înțelegere a permisiunilor sistemului de fișiere Unix și a ACL-urilor de rețea
  • Cunoștințe de bază despre gestionarea certificatelor TLS/SSL și criptare

Publicul țintă

  • Ingineri de securitate
  • Ofițeri de conformitate
  • Administratori de infrastructură AI care gestionează date sensibile
 14 Ore

Numărul de participanți


Pret per participant

Mărturii (1)

Cursuri viitoare

Categorii înrudite