Curs de pregatire Implementarea Tencent Hunyuan în Producție: Inferență cu Latency Redusă și Optimizarea Costurilor
„Implementarea Tencent Hunyuan în Producție: Inferență cu Latency Redusă și Optimizarea Costurilor” este un curs practic despre servierea modelelor Tencent Hunyuan la scară largă, cu fiabilitate.
Acest training live, condus de un instructor (online sau onsite), este destinat inginerilor și arhitecților de nivel intermediar care doresc să utilizeze Tencent Hunyuan pentru a implementa modele mari și MoE cu latency redus, o utilizare mai eficientă a GPU-urilor și un cost operațional controlat.
La finalul acestui training, participanții vor fi capabili să:
- explice principalele provocări de producție asociate servierii modelelor Tencent Hunyuan.
- aplice tehnici practice de optimizare a inferenței, cum ar fi TensorRT, ajustarea KV-cache-ului, cantizarea și batching-ul.
- design-eze o abordare de implementare scalabilă, incluzând autoscaling-ul, monitorizarea și planificarea capacității.
- îmbunătățească echilibrul dintre latency și cost pentru sarcinile de lucru din producție reală.
Formatul Cursului
- Lecție interactivă și discuții.
- O mulțime de exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a organiza detaliile.
Schița de curs
Elemente Fundamentale pentru Implementarea Tencent Hunyuan în Producție
- Panoramic al scenariilor de servire a modelelor Tencent Hunyuan
- Caracteristicile producției modelului pentru modelele mari și MoE
- Guleri frecvente de latency, throughput și cost
- Definirea obiectivelor de nivel al serviciului pentru sarcinile de lucru de inferență
Arhitectura Implementării și Fluxul de Serviere
- Componentele esențiale ale stivei de inferență în producție
- Alegerea între modelele de implementare containerizate, on-premise și cloud
- Încărcarea modelului, routarea cererilor și alocarea GPU-urilor - noțiuni de bază
- Proiectarea pentru fiabilitate și simplitate operațională
Optimizarea Latency în Practică
- Folosirea motoarelor de inferență optimizate, precum TensorRT, unde este cazul
- Noțiuni despre KV-cache și ajustarea practică a cache-ului
- Reducerea overhead-ului de startup, warmup și răspuns
- Măsurarea timpului până la primul token și vitezei de generare a token-urilor
Throughput, Batching și Eficiența GPU
- Strategii de continuous batching și request batching
- Gestionarea concurenței și a comportamentului cozilor
- Îmbunătățirea utilizării GPU-urilor fără a afecta experiența utilizatorului
- Tratarea cererilor cu context lung și sarcini de lucru mixte
Cantizarea și Controlul Costurilor
- De ce este importantă cantizarea pentru servirea în producție
- Echilibruri practice ale opțiunilor comune de precizie, cum ar fi FP16, INT8 etc.
- Găsirea echilibrului între calitatea modelului, latency și costul infrastructurii
- Crearea unei liste de verificare simple pentru optimizarea costurilor
Operațiuni, Monitorizare și Evaluarea Pregătirii
- Trigger-ele de autoscaling pentru serviciile de inferență
- Monitorizarea latency-ului, throughput-ului, utilizării cache-ului și stării GPU-urilor
- Noțiuni despre logging, alertare și răspuns la incidente
- Evaluarea unei implementări de referință și crearea unui plan de îmbunătățire
Cerințe
- Înțelegerea de bază a implementării fluxurilor de lucru ale modelelor mari de limbaj (LLM) și a inferenței
- Experiență cu containere, infrastructură cloud sau on-premise și servicii bazate pe API
- Cunoștințe practice de Python sau sarcini de inginerie sistem
Audiența Țintă
- Ingineri ML care implementează LLM-uri în producție
- Ingineri de platformă responsabili pentru serviciile de inferență bazate pe GPU
- Arhitecți de soluții care proiectează platforme scalabile de serviere AI
Cursurile publice necesita 5+ participanti
Curs de pregatire Implementarea Tencent Hunyuan în Producție: Inferență cu Latency Redusă și Optimizarea Costurilor - Rezervare
Curs de pregatire Implementarea Tencent Hunyuan în Producție: Inferență cu Latency Redusă și Optimizarea Costurilor - Solicitare
Implementarea Tencent Hunyuan în Producție: Inferență cu Latency Redusă și Optimizarea Costurilor - Cerere de consultanta
Cursuri viitoare
Cursuri înrudite
LangGraph Avansat: Optimizare, Depanare și Monitorizare a Graficelor Complexe
35 OreLangGraph este un cadru de lucru pentru construirea de aplicații LLM cu stare, multi-actor, sub formă de grafuri componibile cu stare persistentă și control asupra execuției.
Acest training condus de un instructor, live (online sau la fața locului), este destinat inginerilor de platformă AI de nivel avansat, DevOps pentru AI și arhitecților ML care doresc să optimizeze, să depaneze, să monitorizeze și să opereze sisteme LangGraph de nivel de producție.
La sfârșitul acestui training, participanții vor putea:
- Proiecta și optimiza topologii complexe LangGraph pentru viteză, cost și scalabilitate.
- Ingineria fiabilității cu încercări repetate, timeout-uri, idempotență și recuperare bazată pe checkpoint-uri.
- Depana și urmări execuțiile graficelor, inspecta starea și reproduce sistematic problemele de producție.
- Instrumenta grafice cu loguri, metrici și urme, implementa în producție și monitoriza SLA-uri și costuri.
Formatul Cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu de laborator live.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Construirea agenților de codare cu Devstral: de la proiectarea agentului la instrumentare
14 OreDevstral este un cadru open-source conceput pentru a construi și a rula agenți de codare care pot interacționa cu baze de cod, instrumente de dezvoltare și API-uri pentru a îmbunătăți productivitatea inginerilor.
Acest training condus de un instructor, live (online sau la fața locului), este destinat inginerilor de nivel intermediar și avansat în domeniul ML, echipelor de instrumente de dezvoltare și SRE care doresc să proiecteze, să implementeze și să optimizeze agenți de codare folosind Devstral.
La sfârșitul acestui training, participanții vor putea:
- Să configureze și să configureze Devstral pentru dezvoltarea agenților de codare.
- Să proiecteze fluxuri de lucru agentice pentru explorarea și modificarea bazelor de cod.
- Să integreze agenții de codare cu instrumente de dezvoltare și API-uri.
- Să implementeze cele mai bune practici pentru o implementare sigură și eficientă a agenților.
Formatul cursului
- Prelegere și discuție interactivă.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de personalizare a cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Open-Source Model Ops: Self-Hosting, Fine-Tuning și Governance cu Modelele Devstral și Mistral
14 OreModelele Devstral și Mistral sunt tehnologii AI open-source proiectate pentru implementare flexibilă, fine-tuning și integrare scalabilă.
Acest training condus de un instructor, live (online sau onsite), este destinat inginerilor de ML de nivel intermediar–avansat, echipelor de platformă și inginerilor de cercetare care doresc să autogăzduiască, să ajusteze și să gestioneze modelele Mistral și Devstral în medii de producție.
La finalul acestui training, participanții vor putea:
- Să configureze și să pregătească medii autogăzduite pentru modelele Mistral și Devstral.
- Să aplice tehnici de fine-tuning pentru performanță specifică domeniului.
- Să implementeze versionare, monitorizare și gestionare a ciclului de viață.
- Să asigure securitate, conformitate și utilizare responsabilă a modelelor open-source.
Formatul Cursului
- Prezentare interactivă și discuții.
- Exerciții practice de autogăzduire și fine-tuning.
- Implementare live a pipeline-urilor de governanță și monitorizare.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Aplicații LangGraph în Finanțe
35 OreLangGraph este un cadru de lucru pentru construirea de aplicații LLM cu stare, multi-actor, sub formă de grafuri componibile cu stare persistentă și control asupra execuției.
Acest training condus de un instructor, live (online sau la fața locului), este destinat profesioniștilor de nivel intermediar până la avansat care doresc să proiecteze, să implementeze și să opereze soluții financiare bazate pe LangGraph, cu o guvernanță, observabilitate și conformitate corespunzătoare.
La finalul acestui training, participanții vor putea:
- Proiecta fluxuri de lucru LangGraph specifice finanțelor, aliniate la cerințele de reglementare și audit.
- Integra standarde și ontologii de date financiare în starea și instrumentele grafice.
- Implementa controale de fiabilitate, siguranță și implicare umană pentru procesele critice.
- Deploy, monitoriza și optimiza sistemele LangGraph pentru performanță, cost și SLA-uri.
Formatul Cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu de laborator live.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
LangGraph Foundations: Grafice și Lanțuri de Prompturi LLM
14 OreLangGraph este un cadru pentru construirea aplicațiilor LLM structurate pe grafice care suportă planificare, ramificare, utilizare de instrumente, memorie și execuție controlabilă.
Acest training condus de un instructor, live (online sau la fața locului), este destinat dezvoltatorilor începători, inginerilor de prompturi și practicienilor de date care doresc să proiecteze și să construiască fluxuri de lucru LLM multi-pas, fiabile, folosind LangGraph.
La finalul acestui training, participanții vor putea:
- Să explice conceptele de bază ale LangGraph (noduri, muchii, stare) și când să le folosească.
- Să construiască lanțuri de prompturi care se ramifică, apelează instrumente și mențin memoria.
- Să integreze recuperarea și API-uri externe în fluxurile de lucru bazate pe grafice.
- Să testeze, să depisteze erori și să evalueze aplicațiile LangGraph pentru fiabilitate și siguranță.
Formatul Cursului
- Prelegere interactivă și discuții facilitate.
- Laboratoare ghidate și prezentări de cod într-un mediu sigur.
- Exerciții bazate pe scenarii de proiectare, testare și evaluare.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
LangGraph în Sănătate: Orchestrarea Fluxurilor de Lucru pentru Medii Reglementate
35 OreLangGraph permite fluxuri de lucru cu stare, multi-actor, alimentate de LLM-uri, cu control precis asupra căilor de execuție și al persistentei stării. În domeniul sănătății, aceste capabilități sunt cruciale pentru conformitate, interoperabilitate și construirea sistemelor de sprijin pentru decizii care se aliniază cu fluxurile de lucru medicale.
Acest training condus de un instructor, live (online sau la fața locului), este destinat profesioniștilor de nivel intermediar până la avansat care doresc să proiecteze, să implementeze și să gestioneze soluții bazate pe LangGraph în domeniul sănătății, abordând în același timp provocările legate de reglementări, etică și operaționalitate.
La sfârșitul acestui training, participanții vor putea:
- Proiecta fluxuri de lucru specifice sănătății folosind LangGraph, având în vedere conformitatea și auditabilitatea.
- Integra aplicații LangGraph cu ontologii și standarde medicale (FHIR, SNOMED CT, ICD).
- Aplica cele mai bune practici pentru fiabilitate, urmărire și explicabilitate în medii sensibile.
- Implementa, monitoriza și valida aplicații LangGraph în medii de producție din domeniul sănătății.
Formatul Cursului
- Prelegere interactivă și discuții.
- Exerciții practice bazate pe studii de caz din viața reală.
- Practică de implementare într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
LangGraph pentru Aplicații Juridice
35 OreLangGraph este un cadru pentru construirea de aplicații LLM cu stare, multi-actor, sub formă de grafuri componibile cu stare persistentă și control precis asupra execuției.
Acest training condus de un instructor, live (online sau la fața locului), este destinat profesioniștilor de nivel intermediar până la avansat care doresc să proiecteze, să implementeze și să opereze soluții juridice bazate pe LangGraph cu controalele necesare de conformitate, trasabilitate și guvernanță.
La finalul acestui training, participanții vor putea:
- Proiecta fluxuri de lucru specifice juridice în LangGraph care păstrează auditabilitatea și conformitatea.
- Integra ontologii juridice și standarde de documente în starea și procesarea grafului.
- Implementa bariere de protecție, aprobări cu om în buclă și căi de decizie trasabile.
- Implementa, monitoriza și întreține servicii LangGraph în producție cu observabilitate și controale de cost.
Formatul Cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Construirea de Fluxuri de Lucru Dinamice cu LangGraph și Agenți LLM
14 OreLangGraph este un cadru pentru compunerea de fluxuri de lucru structurate în grafuri LLM care suportă ramificare, utilizarea uneltelor, memorie și execuție controlabilă.
Această formare condusă de un instructor, live (online sau la fața locului) este destinată inginerilor și echipelor de produse de nivel intermediar care doresc să combine logica grafică a LangGraph cu buclele agenților LLM pentru a construi aplicații dinamice, conștiente de context, cum ar fi agenți de asistență pentru clienți, arbori de decizie și sisteme de recuperare a informațiilor.
La sfârșitul acestei formări, participanții vor putea:
- Proiecta fluxuri de lucru bazate pe grafuri care coordonează agenți LLM, unelte și memorie.
- Implementa rutare condiționată, reîncercări și mecanisme de rezervă pentru o execuție robustă.
- Integra recuperarea, API-uri și ieșiri structurate în buclele agenților.
- Evalua, monitoriza și consolida comportamentul agenților pentru fiabilitate și siguranță.
Formatul Cursului
- Prelegere interactivă și discuții facilitate.
- Laboratoare ghidate și prezentări de cod într-un mediu sigur.
- Exerciții de proiectare bazate pe scenarii și evaluări între colegi.
Opțiuni de Personalizare a Cursului
- Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.
LangGraph pentru Automatizarea Marketingului
14 OreLangGraph este un cadru de orchestratie bazat pe grafice care permite fluxuri de lucru conditionate, în mai multe etape, pentru LLM și instrumente, ideal pentru automatizarea și personalizarea conductelor de conținut.
Această formare condusă de un instructor, live (online sau la fața locului), este destinată marketerilor de nivel intermediar, strategilor de conținut și dezvoltatorilor de automatizări care doresc să implementeze campanii dinamice de emailuri și conducte de generare de conținut folosind LangGraph.
La finalul acestei formări, participanții vor putea:
- Proiecta fluxuri de lucru structurate pe grafice pentru conținut și emailuri cu logică condiționată.
- Integra LLM-uri, API-uri și surse de date pentru personalizare automată.
- Gestiona starea, memoria și contextul în cadrul campaniilor cu mai multe etape.
- Evalua, monitoriza și optimiza performanța fluxurilor de lucru și rezultatele livrării.
Formatul Cursului
- Prelegeri interactive și discuții de grup.
- Sesiuni practice de implementare a fluxurilor de lucru pentru emailuri și conducte de conținut.
- Exerciții bazate pe scenarii de personalizare, segmentare și logică de ramificare.
Opțiuni de Personalizare a Cursului
- Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Le Chat Enterprise: ChatOps Privat, Integrări și Controale de Administrare
14 OreLe Chat Enterprise este o soluție privată de ChatOps care oferă organizațiilor capabilități de inteligență artificială conversațională sigure, personalizabile și guvernate, cu suport pentru RBAC, SSO, conectori și integrări de aplicații enterprise.
Acest training condus de un instructor, live (online sau la fața locului), este destinat managerilor de produs de nivel intermediar, liderilor IT, inginerilor de soluții și echipelor de securitate/conformitate care doresc să implementeze, configureze și guverneze Le Chat Enterprise în medii enterprise.
La finalul acestui training, participanții vor putea:
- Să configureze și să implementeze Le Chat Enterprise pentru implementări sigure.
- Să activeze RBAC, SSO și controale bazate pe conformitate.
- Să integreze Le Chat cu aplicațiile enterprise și stocurile de date.
- Să proiecteze și să implementeze playbook-uri de administrare și guvernare pentru ChatOps.
Formatul cursului
- Prelegere interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de personalizare a cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Arhitecturi de LLM Rentabile: Mistral la Scară (Inginerie de Performanță / Cost)
14 OreMistral este o familie de modele de limbaj de mare performanță, optimizate pentru o implementare rentabilă în producție la scară.
Acest training condus de un instructor, live (online sau la fața locului), este destinat inginerilor de infrastructură de nivel avansat, arhitecților de cloud și liderilor MLOps care doresc să proiecteze, să implementeze și să optimizeze arhitecturi bazate pe Mistral pentru un debit maxim și un cost minim.
La sfârșitul acestui training, participanții vor putea:
- Să implementeze modele de implementare scalabile pentru Mistral Medium 3.
- Să aplice strategii de batching, cuantizare și servire eficientă.
- Să optimizeze costurile de inferență menținând performanța.
- Să proiecteze topologii de servire pregătite pentru producție pentru sarcini de lucru enterprise.
Formatul cursului
- Prezentare interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de personalizare a cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Productizarea Asistenților Conversaționali cu Conectori și Integrări Mistral
14 OreMistral AI este o platformă de AI open-source care permite echipelor să construiască și să integreze asistenți conversaționali în fluxurile de lucru ale întreprinderilor și ale clienților.
Acest training condus de un instructor, live (online sau la fața locului), este destinat managerilor de produse, dezvoltatorilor full-stack și inginerilor de integrare de nivel începător până la intermediar care doresc să proiecteze, să integreze și să productizeze asistenți conversaționali folosind conectori și integrări Mistral.
La sfârșitul acestui training, participanții vor putea:
- Integra modelele conversaționale Mistral cu conectori de întreprindere și SaaS.
- Implementa generarea augmentată prin recuperare (RAG) pentru răspunsuri fundamentate.
- Proiecta modele UX pentru asistenți de chat interni și externi.
- Implementa asistenți în fluxurile de lucru ale produselor pentru cazuri de utilizare din lumea reală.
Formatul Cursului
- Prelegere interactivă și discuții.
- Exerciții practice de integrare.
- Dezvoltare live-lab a asistenților conversaționali.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Implementări de Nivel Enterprise cu Mistral Medium 3
14 OreMistral Medium 3 este un model de limbaj multimodal de înaltă performanță, conceput pentru implementări de nivel producție în medii enterprise.
Acest training condus de un instructor, live (online sau la fața locului), este destinat inginerilor AI/ML de nivel intermediar și avansat, arhitecților de platformă și echipelor MLOps care doresc să implementeze, să optimizeze și să securizeze Mistral Medium 3 pentru cazuri de utilizare enterprise.
La finalul acestui training, participanții vor putea:
- Implementa Mistral Medium 3 folosind opțiuni API și self-hosted.
- Optimiza performanța inferenței și costurile.
- Implementa cazuri de utilizare multimodale cu Mistral Medium 3.
- Aplica cele mai bune practici de securitate și conformitate pentru medii enterprise.
Formatul Cursului
- Prezentare interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Mistral pentru IA Responsabilă: Confidențialitate, Rezidența Datelor și Controale de Nivel Întreprindere
14 OreMistral AI este o platformă de IA deschisă și gata pentru întreprinderi, care oferă funcții pentru implementarea sigură, conformă și responsabilă a IA.
Acest training condus de un instructor, live (online sau la fața locului), este destinat liderilor de conformitate de nivel intermediar, arhitecților de securitate și părților interesate din domeniul legal/operațional care doresc să implementeze practici de IA responsabilă cu Mistral, profitând de mecanisme de confidențialitate, rezidență a datelor și control la nivel de întreprindere.
La finalul acestui training, participanții vor fi capabili să:
- Implementeze tehnici de protecție a confidențialității în implementările Mistral.
- Aplice strategii de rezidență a datelor pentru a îndeplini cerințele de reglementare.
- Configureze controale de nivel întreprindere, cum ar fi RBAC, SSO și jurnale de audit.
- Evalueze opțiunile de furnizori și implementare pentru alinierea la conformitate.
Formatul cursului
- Prelegere interactivă și discuții.
- Studii de caz și exerciții axate pe conformitate.
- Implementare practică a controalelor de IA la nivel de întreprindere.
Opțiuni de personalizare a cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Aplicații Multimodale cu Modele Mistral (Viziune, OCR și Înțelegere Documentelor)
14 OreModelele Mistral sunt tehnologii AI open-source care se extind acum în fluxuri de lucru multimodale, oferind suport atât pentru sarcini de limbaj, cât și de viziune, pentru aplicații de întreprindere și cercetare.
Acest training condus de un instructor, live (online sau la fața locului), este destinat cercetătorilor ML de nivel intermediar, inginerilor aplicați și echipelor de produse care doresc să construiască aplicații multimodale cu modele Mistral, inclusiv fluxuri de lucru OCR și înțelegere documentelor.
La finalul acestui training, participanții vor putea:
- Să configureze și să implementeze modele Mistral pentru sarcini multimodale.
- Să implementeze fluxuri de lucru OCR și să le integreze cu fluxuri NLP.
- Să proiecteze aplicații de înțelegere documentelor pentru cazuri de utilizare din întreprindere.
- Să dezvolte funcționalități de căutare text-viziune și interfețe de utilizator asistate.
Formatul Cursului
- Prelegere interactivă și discuții.
- Exerciții practice de codare.
- Implementare live a fluxurilor de lucru multimodale.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
