Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Durata 14 ore
Schița de curs
Suveranitate AI și deploy local al LLM-urilor
- Riscurile LLM-urilor cloud: retenția datelor, antrenarea pe intrări, jurisdicția străină.
- Arhitectura Ollama: server de modele, registry și API compatibil OpenAI.
- Comparare cu vLLM, llama.cpp și Text Generation Inference.
- Licențierea modelelor: condițiile pentru Llama, Mistral, Qwen și Gemma.
Instalare și configurare hardware
- Instalarea Ollama pe Linux cu suport CUDA și ROCm.
- Fallback pentru CPU și optimizare AVX/AVX2.
- Deploy cu Docker și maparea volumelor persistente.
- Configurarea multi-GPU și strategiile de alocare a VRAM.
Gestiunea modelelor
- Descărcarea modelelor din registry-ul Ollama: ollama pull llama3.
- Importarea modelelor GGUF din HuggingFace și TheBloke.
- Nivelele de cuantizare: compromisurile între Q4_K_M, Q5_K_M și Q8_0.
- Comutarea modelelor și limitele de încărcare concurentă a modelelor.
Modelfiles personalizate
- Scrierea sintaxei Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ajustarea temperaturii, top_p și repeat_penalty.
- Engineering de prompturi de sistem pentru comportament specific pe rol.
- Criarea și publicarea modelelor personalizate în registry-ul local.
Integrare API
- Endpoint-ul compatibil OpenAI /v1/chat/completions.
- Răspunsuri în streaming și mod JSON.
- Integrare cu LangChain, LlamaIndex și aplicații personalizate.
- Autentificare și rate limiting cu proxy invers.
Optimizarea performanței
- Dimensionarea ferestrei de context și gestionarea cache-ului KV.
- Inferență în batch și procesarea paralelă a cerinților.
- Alocarea firelor de CPU și conștientizarea NUMA.
- Monitorizarea utilizării GPU și presiunii de memorie.
Securitate și conformitate
- Izolarea rețelei pentru endpoint-urile de servit a modelelor.
- Încălzirea intrărilor și pipeline-urile de moderare a ieșirilor.
- Jurnalizare de audit pentru prompturi și completări.
- Proveniența modelelor și verificarea hash-urilor.
Cerințe
- Administrare intermediară a Linux-ului și a containerelor.
- Înțelegere la nivel general a învățării mașinii și a modelelor transformer.
- Familiaritate cu API-urile REST și JSON.
Public țintă
- Ingineri AI și dezvoltatori care înlocuiesc API-urile cloud pentru LLM-uri.
- Organizații cu date sensibile care împiedică utilizarea modelelor din cloud.
- Echipe de guvernament și apărare care necesită modele de limbaj izolate (air-gapped).
