Schița de curs

Cursul este împărțit în trei zile distincte, a treia fiind opțională.

Ziua 1 - Machine Learning și Deep Learning: concepte teoretice

1. Introducere IA, Machine Learning & Deep Learning

- Istorie, concepte fundamentale și aplicații uzuale ale inteligenței artificiale departe de fanteziile purtate de acest domeniu

- Inteligența colectivă: cunoștințe agregate împărtășite de numeroși agenți virtuali

- Algoritmi genetici: evoluția unei populații de agenți virtuali prin selecție

- Machine Learning obișnuit: definiție.

- Tipuri de sarcini: învățare supravegheată, învățare nesupravegheată, învățare prin întărire

- Tipuri de acțiuni: clasificare, regresie, clustering, estimare a densității, reducerea dimensionalității

- Exemple de algoritmi Machine Learning: regresie liniară, Bayes naiv, arbore aleatoriu

- Învățare automată VS Învățare profundă: probleme pentru care învățarea automată rămâne stadiul tehnicii astăzi (Random Forests & XGBoosts)

2. Concepte fundamentale ale unei rețele neuronale (Aplicație: perceptron multistrat)

- Memento de bazele matematice.

- Definirea unei rețele neuronale: arhitectură clasică, funcții de activare și ponderare ale activărilor anterioare, adâncimea unei rețele

- Definirea invatarii unei retele neuronale: functii de cost, back-propagation, coborare a gradientului stocastic, probabilitate maxima.

- Modelarea unei rețele neuronale: modelarea datelor de intrare și de ieșire în funcție de tipul problemei (regresie, clasificare etc.). Blestemul dimensionalității. Distincția între date și semnal cu mai multe caracteristici. Alegerea unei funcții de cost în funcție de date.

- Aproximarea unei funcții folosind o rețea neuronală: prezentare și exemple

- Aproximarea unei distribuții folosind o rețea neuronală: prezentare și exemple

- Augmentarea datelor: cum să echilibrați un set de date

- Generalizarea rezultatelor unei rețele neuronale.

- Inițializări și regularizări ale unei rețele neuronale: regularizare L1/L2, Normalizare lot...

- Optimizări și algoritmi de convergență.

3. Instrumente comune ML/DL

Este planificată o prezentare simplă cu avantaje, dezavantaje, poziție în ecosistem și utilizare.

- Instrumente de gestionare a datelor: Apache Spark, Apache Hadoop

- Instrumente uzuale Machine Learning: Numpy, Scipy, Sci-kit

- Frameworks DL astăzi la nivel: PyTorch, Keras, Lasagne

- Framework DL de nivel scăzut: Theano, Torch, Caffe, Tensorflow

 

Ziua 2 – Rețele convoluționale și recurente

4. Convoluțional Neural Networks (CNN).

- Prezentarea CNN-urilor: principii fundamentale și aplicații

- Funcționarea fundamentală a unui CNN: strat convoluțional, utilizarea unui nucleu, padding & stride, generare de hărți de caracteristici, straturi de tip „pooling”. Extensii 1D, 2D și 3D.

- Prezentarea diferitelor arhitecturi CNN care au adus stadiul tehnicii în clasificarea imaginilor: LeNet, VGG Networks, Network in Network, Inception, Resnet. Prezentarea inovațiilor aduse de fiecare arhitectură și aplicațiile lor mai globale (convoluție 1x1 sau conexiuni reziduale)

- Utilizarea unui model de atenție.

- Aplicare la un scenariu obișnuit de clasificare (text sau imagine)

- CNN-uri pentru generare: super-rezoluție, segmentare pixel cu pixel. Prezentarea principalelor strategii de creștere a hărților de caracteristici pentru generarea unei imagini.

5. Recurente Neural Networks (RNN).

- Prezentarea RNN-urilor: principii fundamentale și aplicații.

- Fonctionnement fundamental du RNN: activare ascunsă, propagare înapoi în timp, versiune desfășurată.

- Evoluții către GRU (Gated Recurrent Units) și LSTM (Long Short Term Memory). Prezentarea diferitelor stări și a dezvoltărilor aduse de aceste arhitecturi

- Probleme de convergență și gradient de dispariție

- Tipuri de arhitecturi clasice: Predicția unei serii temporale, clasificare...

- Arhitectura tip decodor RNN Encoder. Folosind un model de atenție.

- Aplicații NLP: codificare cuvânt/caracter, traducere.

- Aplicații video: predicție pentru următoarea imagine generată a unei secvențe video.

 

Ziua 3 – Modele generaționale și Reinforcement Learning

6. Modele generaționale: Variational AutoEncoder (VAE) și Generative Adversarial Networks (GAN).

- Prezentarea modelelor generaționale, legătura cu CNN-urile văzute în ziua 2

- Codificare automată: reducerea dimensionalității și generarea limitată

- Variational Auto-encoder: model generational si aproximare a distributiei datelor. Definirea și utilizarea spațiului latent. Truc de reparametrizare. Aplicații și limite respectate

- Rețele adversare generative: principii fundamentale. Arhitectură cu două rețele (generator și discriminator) cu învățare alternativă, funcții de cost disponibile.

- Convergența unui GAN și dificultățile întâmpinate.

- Convergență îmbunătățită: Wasserstein GAN, BeGAN. Distanța de Mișcare a Pământului.

- Aplicații pentru generarea de imagini sau fotografii, generare de text, super rezoluție.

7. Adânc Reinforcement Learning.

- Prezentarea învățării prin întărire: controlul unui agent într-un mediu definit de o stare și acțiuni posibile

- Utilizarea unei rețele neuronale pentru a aproxima funcția de stare

- Deep Q Learning: experiență de reluare și aplicare pentru controlul unui joc video.

- Optimizări ale politicii de învăţare. În cadrul politicii și& în afara politicii. Arhitectură critică de actor. A3C.

- Aplicații: controlul unui joc video simplu sau al unui sistem digital.

Cerințe

Nivel de inginer

  21 ore
 

Numărul de participanți


Dată început

Dată sfârșit


Dates are subject to availability and take place between 09:30 and 16:30.

Pret per participant
Open Training Courses require 5+ participants.

Cursuri înrudite

Categorii înrudite