Schița de curs

Introducere la Large Language Models (LLMs)

  • Prezentare generală a LLM-urilor
  • Definiție și semnificație
  • Aplicații în IA în prezent

Arhitectura transformatoarelor

  • Ce este un transformator și cum funcționează acesta?
  • Principalele componente și caracteristici
  • Încorporarea și codificarea pozițională
  • Atenție la mai multe capete
  • Rețea neuronală de tip feed-forward
  • Normalizare și conexiuni reziduale

Modele de transformare

  • Mecanismul de autoatenție
  • Arhitectură codificator-decodificator
  • Încorporări poziționale
  • BERT (Reprezentări bidirecționale ale codificatorilor din transformatoare)
  • GPT (transformator generativ preformat)

Optimizarea performanțelor și capcanele

  • Lungimea contextului
  • Mamba și modelele de spațiu de stare
  • Atenția flash
  • Transformatoare rarefiate
  • Transformatoare de viziune
  • Importanța cuantificării

Îmbunătățirea transformatoarelor

  • Generarea de text augmentat pentru recuperare
  • Amestec de modele
  • Arbore de gânduri

Reglarea fină

  • Teoria adaptării de rang scăzut
  • Ajustarea fină cu QLora

Legi de scalare și optimizare în LLM-uri

  • Importanța legilor de scalare pentru LLM-uri
  • Scalarea dimensiunii datelor și a modelului
  • Scalarea computațională
  • Scalarea eficienței parametrilor

Optimizare

  • Relația dintre dimensiunea modelului, dimensiunea datelor, bugetul de calcul și cerințele de inferență
  • Optimizarea performanței și eficienței LLM-urilor
  • Cele mai bune practici și instrumente pentru formarea și reglarea fină a LLM-urilor

Formarea și reglarea fină a LLM-urilor

  • Etapele și provocările legate de formarea LLM-urilor de la zero
  • Achiziționarea și întreținerea datelor
  • Cerințele privind datele la scară largă, CPU și memoria
  • Provocări legate de optimizare
  • Peisajul LLM-urilor cu sursă deschisă

Elemente fundamentale ale Reinforcement Learning (RL)

  • Introducere în Reinforcement Learning
  • Învățare prin întărire pozitivă
  • Definiție și concepte de bază
  • Proces de decizie Markov (MDP)
  • Programare dinamică
  • Metode Monte Carlo
  • Învățarea prin diferență temporală

Profundă Reinforcement Learning

  • Rețele Q profunde (DQN)
  • Optimizarea politicii proximale (PPO)
  • Elements de Reinforcement Learning

Integrarea LLM-urilor și a Reinforcement Learning

  • Combinarea LLM-urilor cu Reinforcement Learning
  • Cum se utilizează RL în LLM-uri
  • Reinforcement Learning cu feedback uman (RLHF)
  • Alternative la RLHF

Studii de caz și aplicații

  • Aplicații din lumea reală
  • Povești de succes și provocări

Subiecte avansate

  • Tehnici avansate
  • Metode avansate de optimizare
  • Cercetări și dezvoltări de ultimă oră

Rezumat și etapele următoare

Cerințe

  • Înțelegerea de bază a Machine Learning

Audiență

  • Oameni de știință în domeniul datelor
  • Inginerii de software
 21 ore

Numărul de participanți


Pret per participant

Upcoming Courses

Categorii înrudite