Schița de curs

Introducere în Fine-Tuning Eficient din Punct de Vedere al Parametrilor (PEFT)

  • Motivația și limitările fine-tuning-ului complet
  • Prezentare generală a PEFT: obiective și beneficii
  • Aplicații și cazuri de utilizare în industrie

LoRA (Adaptare de Rang Scăzut)

  • Conceptul și intuiția din spatele LoRA
  • Implementarea LoRA folosind Hugging Face și PyTorch
  • Exercițiu practic: Fine-tuning a unui model cu LoRA

Adapter Tuning

  • Cum funcționează modulele de adaptare
  • Integrarea cu modele bazate pe transformere
  • Exercițiu practic: Aplicarea Adapter Tuning pe un model bazat pe transformere

Prefix Tuning

  • Folosirea prompturilor soft pentru fine-tuning
  • Punctele forte și limitări în comparație cu LoRA și adaptoare
  • Exercițiu practic: Prefix Tuning pe o sarcină LLM

Evaluarea și compararea metodelor PEFT

  • Metrici pentru evaluarea performanței și eficienței
  • Compromisuri în viteza de antrenare, utilizarea memoriei și acuratețe
  • Experimente de benchmarking și interpretarea rezultatelor

Implementarea modelelor ajustate

  • Salvarea și încărcarea modelelor ajustate
  • Considerații de implementare pentru modelele bazate pe PEFT
  • Integrarea în aplicații și fluxuri de lucru

Practici recomandate și extensii

  • Combinarea PEFT cu cuantizare și distilare
  • Utilizarea în setări cu resurse limitate și multilingvism
  • Direcții viitoare și domenii de cercetare active

Rezumat și pași următori

Cerințe

  • Înțelegerea elementelor de bază ale învățării automate
  • Experiență în lucrul cu modele lingvistice mari (LLMs)
  • Familiaritate cu Python și PyTorch

Public țintă

  • Specialiști în știința datelor
  • Ingineri AI
 14 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite