Intrati in legatura
 Durata 14 ore

Schița de curs

Introducere în LLM-urile multimodale în Vertex AI

  • Prezentarea capabilităților multimodale din Vertex AI
  • Modelele Gemini și modalitățile suportate
  • Cazuri de utilizare în enterprise și cercetare

Configurarea mediului de dezvoltare

  • Configurarea Vertex AI pentru workflow-uri multimodale
  • Lucrul cu seturi de date din diferite modalități
  • Laborator practic: configurarea mediului și pregătirea setului de date

Ferestre de context lungi și raționament avansat

  • Înțelegerea workflow-urilor cu context lung
  • Cazuri de utilizare în planificare și luarea deciziilor
  • Laborator practic: implementarea analizei cu context lung

Proiectarea workflow-urilor cross-modale

  • Combinarea analizei de text, audio și imagini
  • Înlănțuirea pașilor modali în pipeline-uri
  • Laborator practic: proiectarea unui pipeline multimodal

Lucrul cu parametrii API Gemini

  • Configurarea intrărilor și ieșirilor multimodale
  • Optimizarea inferenței și a eficienței
  • Laborator practic: ajustarea parametrilor API Gemini

Aplicații avansate și integrări

  • Agenți și asistenți multimodali interactivi
  • Integrarea API-urilor și instrumentelor externe
  • Laborator practic: construirea unei aplicații multimodale

Evaluare și iterație

  • Testarea performanței multimodale
  • Metrici pentru acuratețe, aliniere și drift
  • Laborator practic: evaluarea workflow-urilor multimodale

Rezumat și pașii următori

Cerințe

  • Competențe solide în programarea Python
  • Experiență în dezvoltarea de modele de machine learning
  • Familiaritate cu datele multimodale (text, audio, imagini)

Public țintă

  • Cercetători AI
  • Dezvoltatori avansați
  • Cercetători în ML

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite