Curs de pregatire EXO: Implementare End-to-End a Clustrelor AI Locală

Introducere în EXO și Clustere AI Locală

• Prezentare generală a cadrului EXO și a ecosistemului exo-explore
• Comparație între inferența în cloud centralizată și inferența locală distribuită
• Arhitectură: descoperirea dispozitivelor libp2p, backend MLX, panou de control și straturi API
• Cerințe hardware: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, stocare partajată

Instalarea EXO pe macOS

• Configurarea Xcode, Metal ToolChain și cerințelor preliminare macOS
• Instalarea uv, Node.js, lanțul de instrumente Rust nightly
• Instalarea fork-ului macmon pentru monitorizarea Apple Silicon
• Clonarea depozitului și construirea panoului de control cu npm
• Pornirea EXO din sursă și verificarea panoului de control localhost:52415

Instalarea EXO pe Linux

• Instalarea dependențelor via apt sau Homebrew pe Linux
• Configurarea uv, Node.js 18+ și Rust nightly
• Construirea panoului de control și rularea EXO în modul CPU-only
• Structura directorului: căi XDG Base Directory pentru config, date, cache și jurnale

Descoperirea Automată a Dispozitivelor și Formarea Clustrelor

• Înțelegerea descoperirii automate bazate pe libp2p pe rețele locale
• Configurarea namespace-urilor personalizate cu EXO_LIBP2P_NAMESPACE pentru izolarea clusterelor
• Verificarea apartenenței nodurilor în vizualizarea clusterului din panoul de control
• Gestionarea eșecurilor de descoperire și a problemelor de segmentare a rețelei

Activarea RDMA peste Thunderbolt 5

• Arhitectura RDMA și afirmația de reducere a latenței cu 99%
• Activarea RDMA în modul de recuperare macOS cu rdma_ctl
• Cerințe de cablu și constrângeri de topologie a porturilor pe Mac Studio
• Potrivirea versiunilor macOS pe toate nodurile clusterului
• Depanarea descoperirii RDMA și configurației DHCP

Implementarea Modelelor de Frontieră

• Utilizarea panoului de control pentru încărcarea și fragmentarea modelelor DeepSeek v3.1, Qwen3-235B și familia Llama
• Previzualizarea plasării instanțelor cu punctul final API /instance/previews
• Crearea instanțelor de modele cu fragmentare pipeline sau tensor-paralelă
• Configurarea cardurilor de modele personalizate de la HuggingFace hub

Monitorizare și Depanare

• Citirea jurnalelor EXO și înțelegerea urmăririi distribuite
• Interpretarea stării de sănătate a clusterului în vizualizarea clusterului din panoul de control
• Diagnosticarea eșecurilor nodurilor de lucru și a comportamentului de reconectare
• Utilizarea EXO_TRACING_ENABLED pentru analiza punctelor de blocaj de performanță

Întreținerea și Actualizările Clusterului

• Actualizarea binarilor EXO și procedurile de reconstruire a panoului de control
• Migrarea cache-urilor de modele și gestionarea modelelor pre-descărcate peste NFS
• Îndepărtarea grațioasă a nodurilor și reechilibrarea sarcinilor de lucru