Schița de curs

Introducere

  • Ce sunt Modelele de Limbaj de Mare Amploare (LLMs)?
  • LLMs vs modele tradiționale de NLP
  • Prezentare generală a caracteristicilor și arhitecturii LLMs
  • Provocări și limitări ale LLMs

Înțelegerea LLMs

  • Ciclu de viață al unui LLM
  • Cum funcționează LLMs
  • Componentele principale ale unui LLM: encoder, decoder, atenție, embeddings etc.

Începutul

  • Configurarea mediului de dezvoltare
  • Instalarea unui LLM ca instrument de dezvoltare, de ex. Google Colab, Hugging Face

Lucrul cu LLMs

  • Explorarea opțiunilor disponibile de LLMs
  • Crearea și utilizarea unui LLM
  • Ajustarea unui LLM pe un set de date personalizat

Rezumarea textelor

  • Înțelegerea sarcinii de rezumare a textelor și a aplicațiilor sale
  • Utilizarea unui LLM pentru rezumare extractivă și abstractivă
  • Evaluarea calității rezumatelor generate folosind metrici precum ROUGE, BLEU etc.

Răspunsul la întrebări

  • Înțelegerea sarcinii de răspuns la întrebări și a aplicațiilor sale
  • Utilizarea unui LLM pentru răspunsuri la întrebări deschise și închise
  • Evaluarea acurateței răspunsurilor generate folosind metrici precum F1, EM etc.

Generarea de texte

  • Înțelegerea sarcinii de generare de texte și a aplicațiilor sale
  • Utilizarea unui LLM pentru generare condiționată și necondiționată de texte
  • Controlul stilului, tonului și conținutului textelor generate folosind parametri precum temperatura, top-k, top-p etc.

Integrarea LLMs cu alte framework-uri și platforme

  • Utilizarea LLMs cu PyTorch sau TensorFlow
  • Utilizarea LLMs cu Flask sau Streamlit
  • Utilizarea LLMs cu Google Cloud sau AWS

Depanare

  • Înțelegerea erorilor și bug-urilor comune în LLMs
  • Utilizarea TensorBoard pentru monitorizarea și vizualizarea procesului de antrenament
  • Utilizarea PyTorch Lightning pentru simplificarea codului de antrenament și îmbunătățirea performanței
  • Utilizarea Hugging Face Datasets pentru încărcarea și preprocesarea datelor

Rezumat și pași următori

Cerințe

  • O înțelegere a procesării limbajului natural și a învățării profunde
  • Experiență cu Python și PyTorch sau TensorFlow
  • Experiență de bază în programare

Publicul țintă

  • Dezvoltatori
  • Pasionați de NLP
  • Oameni de știință de date
 14 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite