Schița de curs

Introducere în NLP Fine-Tuning

  • Ce este ajustarea fină?
  • Beneficiile ajustării fine a modelelor de limbaj preinstruite
  • Prezentare generală a modelelor preinstruite populare (GPT, BERT, T5)

Înțelegerea sarcinilor NLP

  • Analiza sentimentelor
  • Rezumarea textului
  • Traducerea automată
  • Recunoașterea entităților numite (NER)

Configurarea mediului

  • Instalarea și configurarea Python și a bibliotecilor
  • Utilizarea transformatoarelor Hugging Face pentru sarcini NLP
  • Încărcarea și explorarea modelelor pre-antrenate

Tehnici de reglaj fin

  • Pregătirea seturilor de date pentru sarcinile NLP
  • Tokenizarea și formatarea datelor de intrare
  • Reglarea fină pentru sarcini de clasificare, generare și traducere

Optimizarea performanței modelului

  • Înțelegerea ratelor de învățare și a mărimii loturilor
  • Utilizarea tehnicilor de regularizare
  • Evaluarea performanței modelului cu ajutorul metricilor

Laboratoare practice

  • Reglarea fină a BERT pentru analiza sentimentelor
  • Reglarea fină a T5 pentru rezumarea textului
  • Reglarea fină a GPT pentru traducerea automată

Implementarea modelelor cu reglaj fin

  • Exportul și salvarea modelelor
  • Integrarea modelelor în aplicații
  • Elemente de bază ale implementării modelelor pe platforme cloud

Provocări și bune practici

  • Evitarea supraajustării în timpul ajustării fine
  • Gestionarea seturilor de date dezechilibrate
  • Asigurarea reproductibilității în experimente

Tendințe viitoare în reglarea fină a NLP

  • Modele pre-antrenate emergente
  • Progrese în învățarea prin transfer pentru NLP
  • Explorarea aplicațiilor NLP multimodale

Rezumat și etapele următoare

Cerințe

  • Înțelegere de bază a conceptelor NLP
  • Experiență cu programarea Python
  • Familiaritate cu cadrele de învățare profundă, cum ar fi TensorFlow sau PyTorch

Audiență

  • Oameni de știință în domeniul datelor
  • ingineri NLP
 21 ore

Numărul de participanți


Pret per participant

Upcoming Courses

Categorii înrudite