Schița de curs

Introducere în LLM-uri Open-Source

  • Ce sunt modelele cu ponderi deschise și de ce sunt importante
  • Prezentare a modellor LLaMA, Mistral, Qwen și alte modele comunitare
  • Cazuri de utilizare pentru implementări private, on-premise sau securizate

Configurarea Mediei și Instrumentele Necesare

  • Instalarea și configurarea bibliotecilor Transformers, Datasets și PEFT
  • Alegerea hardware-ului potrivit pentru fine-tuning
  • Încărcarea modelelor preantrenate de la Hugging Face sau din alte depozite

Prepararea și Prelucrarea Datelor

  • Formate de seturi de date (tuning instrucțiuni, date chat, text-only)
  • Tokenizare și gestionarea secvențelor
  • Crearea seturilor de date personalizate și a încărcătorilor de date

Tehnici de Fine-Tuning

  • Fine-tuning complet standard vs. metode eficiente cu parametri
  • Aplicarea LoRA și QLoRA pentru fine-tuning eficient
  • Folosirea API-ului Trainer pentru experimentare rapidă

Evaluarea și Optimizarea Modelului

  • Evaluarea modelelor fine-tuned cu metrice de generare și acuratețe
  • Gestionarea overfitting, generalizării și seturilor de validare
  • Sfaturi pentru optimizarea performanței și logging

Implementarea și Utilizarea Privată

  • Salvarea și încărcarea modelelor pentru inferență
  • Implementarea modelilor fine-tuned în medii securizate enterprise
  • Strategii de implementare on-premise vs. cloud

Cazuri de Studiu și Cazuri de Utilizare

  • Exemple de utilizare enterprise a modellor LLaMA, Mistral și Qwen
  • Gestionarea fine-tuning-ului multilingv și specific domeniului
  • Discuție: Compromisurile între modelele open-source și închise

Synopsis și Următorii Pași

Cerințe

  • O înțelegere a modelelor lingvistice de dimensiuni mari (LLMs) și a arhitecturii lor
  • Experiență cu Python și PyTorch
  • Familiarizare de bază cu ecosistemul Hugging Face

Audiență

  • Practicanți ML
  • Dezvoltatori AI
 14 ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite