Schița de curs

Introducere în LLM-uri multimodale în Vertex AI

  • Prezentare a capacităților multimodale în Vertex AI
  • Modele Gemini și modalități susținute
  • Aplicabilitatea în medii enterprise și de cercetare

Configurarea Mediului de Dezvoltare

  • Configurarea Vertex AI pentru fluxuri de lucru multimodale
  • Lucrul cu seturi de date din diverse modalități
  • Laborator practic: configurarea mediului și pregătirea seturilor de date

Ferestre Contextuale Extinse și Raționament Avansat

  • Înțelegerea fluxurilor de lucru cu context extins
  • Aplicabilitatea în planificare și luarea deciziilor
  • Laborator practic: implementarea analizei cu context extins

Proiectarea Fluxurilor de Lucru Cross-Modale

  • Combinația analizei textului, sunetului și imaginii
  • Interconectarea pașilor multimodali în pipeline-uri
  • Laborator practic: proiectarea unui pipeline multimodal

Lucrul cu Parametrii API Gemini

  • Configurarea intrărilor și ieșirilor multimodale
  • Optimizarea inferinței și a eficienței
  • Laborator practic: ajustarea parametrilor API Gemini

Aplicații Avansate și Integrări

  • Agente și asistenți multimodali interactivi
  • Integrarea cu API-uri externe și instrumente
  • Laborator practic: construirea unei aplicații multimodale

Evaluare și Iterație

  • Testarea performanței multimodale
  • Metrice pentru acuratețe, aliniere și deriva
  • Laborator practic: evaluarea fluxurilor de lucru multimodale

Rezumat și Următoarele Pași

Cerințe

  • Competențe în programare Python
  • Experiență în dezvoltarea modelelor de machine learning
  • Familiarizare cu datele multimodale (text, audio, imagine)

Audiență

  • Cercetători AI
  • Dezvoltatori avansați
  • Cercetători ML
 14 ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite