Curs de pregatire Fluxuri de lucru Multimodale LLM în Vertex AI

Introducere în LLM-uri Multimodale în Vertex AI

• Prezentare generală a capacităților multimodale în Vertex AI
• Modele Gemini și modalități suportate
• Cazuri de utilizare în mediul de afaceri și cercetare

Configurarea mediului de dezvoltare

• Configurarea Vertex AI pentru fluxuri de lucru multimodale
• Lucrul cu seturi de date din multiple modalități
• Laborator practic: configurarea mediului și pregătirea setului de date

Ferestre de Context Lung și Raționament Avansat

• Înțelegerea fluxurilor de lucru cu context lung
• Cazuri de utilizare în planificare și luarea deciziilor
• Laborator practic: implementarea analizei cu context lung

Proiectarea Fluxurilor de Lucru Cross-Modale

• Combinarea analizei text, audio și imagine
• Înlănțuirea pașilor multimodali în pipeline-uri
• Laborator practic: proiectarea unui pipeline multimodal

Lucrul cu Parametrii API Gemini

• Configurarea intrărilor și ieșirilor multimodale
• Optimizarea inferenței și eficienței
• Laborator practic: ajustarea parametrilor API Gemini

Aplicații și Integrări Avansate

• Agenti și asistenți multimodali interactivi
• Integrarea API-urilor și instrumentelor externe
• Laborator practic: construirea unei aplicații multimodale

Evaluare și Iterare

• Testarea performanței multimodale
• Metrici pentru acuratețe, aliniere și derivă
• Laborator practic: evaluarea fluxurilor de lucru multimodale

Rezumat și Pași Următori