Schița de curs
Introducere
Înțelegerea Big Data
Prezentare generală a lui Spark
Prezentare generală a lui Python
Prezentare generală a lui PySpark
- Distribuția datelor folosind framework-ul Resilient Distributed Datasets
- Distribuția calculațiilor folosind operatorii API Spark
Configurarea Python cu Spark
Configurarea PySpark
Folosirea instanțelor Amazon Web Services (AWS) EC2 pentru Spark
Configurarea Databricks
Configurarea cluster-ului AWS EMR
Înțelegerea bazelor de programare în Python
- Primii pași în Python
- Folosirea Jupyter Notebook
- Folosirea variabilelor și a tipurilor de date simple
- Lucrul cu listele
- Folosirea instructiunilor if
- Folosirea intrărilor utilizatorului
- Lucrul cu buclele while
- Implementarea funcțiilor
- Lucrul cu clase
- Lucrul cu fișierele și excepțiile
- Lucrul cu proiecte, date și API-uri
Înțelegerea bazelor DataFrame Spark
- Primii pași cu Spark DataFrames
- Implementarea operațiunilor de bază cu Spark
- Folosirea operațiunilor Groupby și Aggregate
- Lucrul cu timestamp-uri și date
Lucrarea la un exercițiu de proiect cu Spark DataFrame
Înțelegerea Machine Learning cu MLlib
Lucrarea cu MLlib, Spark și Python pentru Machine Learning
Înțelegerea regresiei
- Înțelegerea teoriei regresiei liniare
- Implementarea codului de evaluare a regresiei
- Lucrarea la un exercițiu de exemplu de regresie liniară
- Înțelegerea teoriei regresiei logistice
- Implementarea codului de regresie logistică
- Lucrarea la un exercițiu de exemplu de regresie logistică
Înțelegerea pădurilor aleatorii (Random Forests) și a arborilor de decizie
- Înțelegerea teoriei metodelor arborice
- Implementarea codului pentru arbori de decizie și păduri aleatorii
- Lucrarea la un exercițiu de exemplu de clasificare cu Random Forest
Lucrarea cu clustering K-means
- Înțelegerea teoriei clustering-ului K-means
- Implementarea codului de clustering K-means
- Lucrarea la un exercițiu de exemplu de clustering
Lucrarea cu sisteme de recomandare
Implementarea Procesării Limbajului Natural (NLP)
- Înțelegerea Procesării Limbajului Natural (NLP)
- Prezentare generală a uneltilor NLP
- Lucrarea la un exercițiu de exemplu NLP
Streaming cu Spark în Python
- Prezentare generală a streaming-ului cu Spark
- Exercițiu de exemplu de Spark Streaming
Cerințe
- Abilități de programare generale
Public Țintă
- Dezvoltatori
- Profesioniști IT
- Științifici de date (Data Scientists)
Mărturii (6)
Mi-a plăcut că a fost practic. Am adorat să aplic cunoștințele teoretice cu exemple practice.
Aurelia-Adriana - Allianz Services Romania
Curs - Python and Spark for Big Data (PySpark)
Tradus de catre o masina
Cursul a abordat o serie de subiecte foarte complexe și interconectate, iar Pablo are o expertiză profundă în fiecare dintre ele. Uneori, nuanțele erau pierdute în comunicare și/sau din cauza presiunilor temporale, ceea ce a putut duce la neîndeplinirea unor așteptări. De asemenea, au fost câteva probleme cu configurarea UHG/Azure Databricks, dar Pablo și UHG le-au rezolvat rapid odată ce au devenit vizibile - pentru mine, acest lucru a demonstrat un nivel ridicat de înțelegere și profesionalism între UHG și Pablo,
Michael Monks - Tech NorthWest Skillnet
Curs - Python and Spark for Big Data (PySpark)
Tradus de catre o masina
Atenție individuală.
ARCHANA ANILKUMAR - PPL
Curs - Python and Spark for Big Data (PySpark)
Tradus de catre o masina
Formare practică..
Abraham Thomas - PPL
Curs - Python and Spark for Big Data (PySpark)
Tradus de catre o masina
Lecțiile au fost predate într-un notebook Jupyter. Subiectele erau structurate cu o succesiune logică și ajutau în mod natural la dezvoltarea sesiunii de la părțile mai simple până la cele mai complexe. Sunt deja un utilizator avansat al Python, cu experiență în Machine Learning, așa că am găsit cursul mai ușor de urmărit decât, posibil, cei dintre colegii mei care au participat la acest curs de instruire. Apreciez faptul că unele din conceptele cele mai elementare au fost omise și s-a concentrat pe aspectele cele mai importante.
Angela DeLaMora - ADT, LLC
Curs - Python and Spark for Big Data (PySpark)
Tradus de catre o masina
sarcini de exercițiu
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Curs - Python and Spark for Big Data (PySpark)
Tradus de catre o masina
