Schița de curs

Partea 1 – Deep Learning și Conceptele DNN

Introducere AI, Machine Learning și Deep Learning

    Istoria, conceptele de bază și aplicațiile uzuale ale inteligenței artificiale departe Dintre fanteziile purtate de acest domeniu Inteligența colectivă: agregarea cunoștințelor împărtășite de mulți agenți virtuali Algoritmi genetici: pentru a dezvolta o populație de agenți virtuali prin selecție Mașină de învățare obișnuită: definiție. Tipuri de sarcini: învățare supravegheată, învățare nesupravegheată, învățare prin întărire Tipuri de acțiuni: clasificare, regresie, grupare, estimare a densității, reducerea dimensionalității Exemple de algoritmi de învățare automată: regresie liniară, Bayes naiv, învățare automată aleatorie VS Învățare profundă: probleme pe care învățarea automată rămâne astăzi stadiul tehnicii (Random Forests & XGBoosts)

 

Concepte de bază ale unei rețele neuronale (Aplicație: perceptron multistrat)

    Reamintire a bazelor matematice. Definirea unei rețele de neuroni: arhitectură clasică, activare și ponderea activărilor anterioare, adâncimea unei rețele Definirea învățării unei rețele de neuroni: funcții de cost, back-propagation, coborâre a gradientului stocastic, probabilitate maximă. Modelarea unei rețele neuronale: modelarea datelor de intrare și de ieșire în funcție de tipul problemei (regresie, clasificare ...). Blestemul dimensionalității. Distincția între date cu funcții multiple și semnal. Alegerea unei funcții de cost în funcție de date. Aproximarea unei funcții printr-o rețea de neuroni: prezentare și exemple Aproximarea unei distribuții printr-o rețea de neuroni: prezentare și exemple Data Augmentation: cum se echilibrează un set de date Generalizarea rezultatelor unei rețele de neuroni. Inițializarea și regularizarea unei rețele neuronale: regularizare L1 / L2, Normalizare în lot Optimizare și algoritmi de convergență

 

Instrumente ML / DL standard

Este planificată o prezentare simplă cu avantaje, dezavantaje, poziție în ecosistem și utilizare.

    Instrumente de gestionare a datelor: Apache Spark, Apache Hadoop Tools Machine Learning: Numpy, Scipy, Sci-kit DL cadre de nivel înalt: PyTorch, Keras, Lasagne Framework DL de nivel scăzut: Theano, Torch, Caffe, Tensorflow

 

Convoluțional Neural Networks (CNN).

    Prezentarea CNN-urilor: principii fundamentale și aplicații Funcționarea de bază a unui CNN: strat convoluțional, utilizarea unui nucleu, Padding & stride, generarea hărților de caracteristici, straturi de pooling. Extensii 1D, 2D și 3D. Prezentarea diferitelor arhitecturi CNN care au adus stadiul tehnicii în clasificare Imagini: LeNet, VGG Networks, Network in Network, Inception, Resnet. Prezentarea inovațiilor aduse de fiecare arhitectură și aplicațiile lor mai globale (Convoluție 1x1 sau conexiuni reziduale) Utilizarea unui model de atenție. Aplicație la un caz comun de clasificare (text sau imagine) CNN-uri pentru generare: super-rezoluție, segmentare pixel-la-pixel. Prezentarea principalelor strategii de creștere a hărților de caracteristici pentru generarea de imagini.

 

Recurente Neural Networks (RNN).

    Prezentarea RNN-urilor: principii fundamentale și aplicații. Funcționarea de bază a RNN: activare ascunsă, propagare înapoi în timp, versiune Desfășurată. Evoluții către Gated Recurrent Units (GRU) și LSTM (Long Short Term Memory). Prezentarea diferitelor stări și evoluțiile aduse de aceste arhitecturi Probleme de convergență și gradient de dispariție Arhitecturi clasice: Predicția unei serii temporale, clasificare... RNN Encoder Arhitectură de tip decodor. Utilizarea unui model de atenție. Aplicații NLP: codificare cuvinte / caractere, traducere. Aplicații video: previziunea următoarei imagini generate a unei secvențe video.

Modele generaționale: Variational AutoEncoder (VAE) și Generative Adversarial Networks (GAN).

    Prezentarea modelelor generaționale, legătura cu CNN-urile Auto-encoder: reducerea dimensionalității și generație limitată Variational Auto-encoder: model generațional și aproximarea distribuției unui dat. Definirea și utilizarea spațiului latent. Truc de reparametrizare. Aplicații și limite observate Rețele generative adversare: Fundamente. Arhitectură de rețea duală (generator și discriminator) cu învățare alternativă, funcții de cost disponibile. Convergența unui GAN și dificultățile întâmpinate. Convergență îmbunătățită: Wasserstein GAN, Began. Distanța de Mișcare a Pământului. Aplicații pentru generarea de imagini sau fotografii, generare de text, super-rezoluție.

Adânc Reinforcement Learning.

    Prezentarea învățării prin întărire: controlul unui agent într-un mediu definit printr-o stare și acțiuni posibile Utilizarea unei rețele neuronale pentru a aproxima funcția de stare Deep Q Learning: reluarea experienței și aplicarea la controlul unui joc video. Optimizarea politicii de învățare. În cadrul politicii și& în afara politicii. Actor critic arhitectură. A3C. Aplicații: controlul unui singur joc video sau al unui sistem digital.

 

Partea 2 – Theano pentru Deep Learning

Bazele Theano

    Introducere Instalare și configurare

Funcțiile Theano

    intrări, ieșiri, actualizări, date

Antrenament și optimizare a unei rețele neuronale folosind Theano

    Modelarea rețelelor neuronale Regresie logistică Straturi ascunse Antrenarea unei rețele Optimizarea calculului și clasificării Pierderea jurnalului

Testarea modelului

Partea 3 – DNN folosind Tensorflow

TensorFlow Elemente de bază

    Crearea, inițializarea, salvarea și restaurarea TensorFlow variabile Alimentarea, citirea și preîncărcarea TensorFlow Date Cum se utilizează TensorFlow infrastructura pentru a antrena modele la scară Vizualizarea și evaluarea modelelor cu TensorBoard

TensorFlow Mecanica

    Pregătiți datele de descărcare intrări și substituenți Construiți antrenamentul GraphS Inference Loss
Antrenează modelul Graficul
  • Sesiunea
  • Bucla de tren
  • Evaluați modelul Construiți graficul de evaluare
  • Ieșire de evaluare
  • Perceptronul
  • Funcții de activare Algoritmul de învățare a perceptronului Clasificare binară cu perceptronul Clasificarea documentului cu perceptronul Limitări ale perceptronului
  • De la Perceptron pentru a sprijini mașinile vectoriale

      Kernel-urile și trucul nucleului Clasificarea marjei maxime și vectori suport

    Artificial Neural Networks

      Limite de decizie neliniare Rețele neuronale artificiale cu feedforward și feedback Perceptroni multistrat Minimizarea funcției de cost Propagare înainte Propagare înapoi Îmbunătățirea modului în care rețelele neuronale învață

    convoluțional Neural Networks

      Goals Model Architecture Principles Cod Organizare Lansarea și instruirea modelului Evaluarea unui model

     

      Introduceri de bază care urmează să fie oferite modulelor de mai jos (o scurtă introducere va fi furnizată în funcție de disponibilitatea timpului):

    Tensorflow - Utilizare avansată

    Threading și cozi distribuite TensorFlow Scrierea documentației și partajarea modelului dvs. Personalizarea cititoarelor de date Manipularea TensorFlow Fișiere model

    TensorFlow Servire

      Introducere Tutorial de bază de servire Tutorial avansat de servire Tutorial model de inițiere a servirii

    Cerințe

    Studii de fizică, matematică și programare. Implicare în activități de procesare a imaginilor.

    Delegații ar trebui să aibă o înțelegere prealabilă a conceptelor de învățare automată și ar trebui să fi lucrat cu programarea și bibliotecile Python.

      35 ore
     

    Numărul de participanți


    Dată început

    Dată sfârșit


    Dates are subject to availability and take place between 09:30 and 16:30.
    Open Training Courses require 5+ participants.

    Cursuri înrudite

    Categorii înrudite