Schița de curs
Secțiunea 1: Introducere în Hadoop
- Istoria și conceptele Hadoop
- ecosistem
- distribuții
- arhitectură la nivel ridicat
- miturile Hadoop
- provocările Hadoop
- hard ware / soft ware
- lab : primul contact cu Hadoop
Secțiunea 2: HDFS
- Dizain și arhitectură
- concepte (scalare orizontală, replicare, localitatea datelor, conștientizarea rackului)
- daemoni : Namenode, Secondary namenode, Data node
- comunicări / pulsuri de viață
- integritatea datelor
- calea de citire / scriere
- Namenode High Availability (HA), Federare
- labs : Interacțiune cu HDFS
Secțiunea 3 : Map Reduce
- concepte și arhitectură
- demoni (MRV1) : jobtracker / tasktracker
- faze : driver, mapper, shuffle/sort, reducer
- Map Reduce versiunea 1 și versiunea 2 (YARN)
- Aspecte interne ale Map Reduce
- Introducere în programul Java Map Reduce
- Laboratoare : Rularea unui exemplu de program MapReduce
Secțiunea 4 : Pig
- pig vs java map reduce
- fluxul de lucru pig
- limbajul latin pig
- ETL cu Pig
- Transformări și îmbinări
- Funcții definite de utilizator (UDF)
- laboratoare : scrierea de scripturi Pig pentru analiza datelor
Secțiunea 5: Hive
- arhitectură și design
- tipuri de date
- SQL suport în Hive
- Crearea de tabele Hive și interogarea
- partiții
- îmbinări
- prelucrarea textului
- laboratoare : diverse laboratoare privind prelucrarea datelor cu Hive
Secțiunea 6: HBase
- concepte și arhitectură
- HBase vs RDBMS vs Cassandra
- HBase Java API
- Date de serie temporală pe HBase
- dizain schema
- labs : Interacțiune cu HBase folosind shell; programare în HBase Java API ; exercițiu de dizain schema
Cerințe
- să fie familiarizat cu Java limbaj de programare (majoritatea exercițiilor de programare sunt în java)
- să se simtă confortabil în mediul Linux (să fie capabil să navigheze în linia de comandă Linux, să editeze fișiere folosind vi / nano)
Mediu de laborator
Nu este nevoie de instalare : Nu este necesar să instaleze software-ul Hadoop pe mașinile studenților! Un cluster funcțional Hadoop va fi furnizat pentru studenți.
Studenții vor avea nevoie de următoarele
- un client SSH (Linux și Mac au deja clienți ssh, pentru Windows se recomandă Putty)
- un browser pentru accesarea clusterului, se recomandă Firefox
Mărturii (5)
Exemplele în direct
Ahmet Bolat - Accenture Industrial SS
Curs - Python, Spark, and Hadoop for Big Data
Tradus de catre o masina
În timpul exercițiilor, James m-a explicat cu mai multe detalii fiecare pas în care mă blocau. Eram complet nou la NIFI. El m-a explicat scopul real al lui NIFI, chiar conceptele de bază cum ar fi open source. El a acoperit toate conceptele ale lui Nifi, începând cu nivelul de începător până la nivelul dezvoltatorului.
Firdous Hashim Ali - MOD A BLOCK
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Prepararea și organizarea formatorului și calitatea materialelor furnizate pe github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Curs - Impala for Business Intelligence
Tradus de catre o masina
Cu toate acestea că l-am avut în primul rând. (Note: The given sentence is somewhat incomplete or out of context, so the translation maintains that structure and tone.)
Peter Scales - CACI Ltd
Curs - Apache NiFi for Developers
Tradus de catre o masina
Translate this From: en To: ro lucruri practice de făcut, precum și teorie bine prezentată de Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Curs - Hadoop Administration on MapR
Tradus de catre o masina