Intrati in legatura

Schița de curs

Introducere în Fine-Tuning-ul Eficient din Punct de Vedere al Parametrilor (PEFT)

  • Motivația și limitările fine-tuning-ului complet
  • Prezentare generală a PEFT: obiective și beneficii
  • Aplicații și cazuri de utilizare în industrie

LoRA (Low-Rank Adaptation)

  • Conceptul și intuiția din spatele LoRA
  • Implementarea LoRA folosind Hugging Face și PyTorch
  • Exercițiu practic: Fine-tuning al unui model cu LoRA

Adapter Tuning

  • Cum funcționează modulele de adaptare
  • Integrarea cu modele bazate pe transformatori
  • Exercițiu practic: Aplicarea Adapter Tuning la un model bazat pe transformatori

Prefix Tuning

  • Utilizarea prompturilor soft pentru fine-tuning
  • Puncte forte și limitări comparativ cu LoRA și adaptoare
  • Exercițiu practic: Prefix Tuning pentru o sarcină LLM

Evaluarea și compararea metodelor PEFT

  • Metrici pentru evaluarea performanței și eficienței
  • Compromisuri în viteza de antrenare, utilizarea memoriei și acuratețe
  • Experimente de benchmark și interpretarea rezultatelor

Implementarea modelelor ajustate

  • Salvarea și încărcarea modelelor ajustate
  • Considerații de implementare pentru modelele bazate pe PEFT
  • Integrarea în aplicații și fluxuri de lucru

Bune practici și extensii

  • Combinarea PEFT cu cuantizare și distilare
  • Utilizarea în setări cu resurse limitate și multilingviste
  • Direcții viitoare și domenii de cercetare active

Rezumat și pași următori

Cerințe

  • Înțelegerea bazelor învățării automate
  • Experiență în lucrul cu modele lingvistice de mari dimensiuni (LLM)
  • Cunoașterea limbajului Python și a framework-ului PyTorch

Public țintă

  • Cercetători de date
  • Ingineri de AI
 14 Ore

Numărul de participanți


Pret per participant

Cursuri viitoare

Categorii înrudite