Schița de curs
Introducere
- Introducere în soluții de Cloud Computing și Big Data
- Prezentare generală a caracteristicilor și arhitecturii Apache Hadoop
Configurarea Hadoop
- Planificarea unui cluster Hadoop (la fața locului, în cloud etc.)
- Selectarea sistemului de operare și a distribuției Hadoop
- Aprovizionarea resurselor (hardware, rețea etc.)
- Descărcarea și instalarea software-ului
- Dimensionarea clusterului pentru flexibilitate
Lucrul cu HDFS
- Înțelegerea sistemului de fișiere distribuite Hadoop (HDFS)
- Prezentare generală a referinței comenzilor HDFS
- Accesarea HDFS
- Efectuarea operațiilor de bază cu fișiere în HDFS
- Utilizarea S3 ca o completare a HDFS
Prezentare generală a MapReduce
- Înțelegerea fluxului de date în cadrul MapReduce
- Mapare, amestecare, sortare și reducere
- Demonstrație: Calcularea salariilor de top
Lucrul cu YARN
- Înțelegerea gestionării resurselor în Hadoop
- Lucrul cu ResourceManager, NodeManager, Application Master
- Programarea lucrărilor în cadrul YARN
- Programarea pentru un număr mare de noduri și clustere
- Demonstrație: Programarea lucrărilor
Integrarea Hadoop cu Spark
- Configurarea spațiului de stocare pentru Spark (HDFS, Amazon, S3, NoSQL, etc.)
- Înțelegerea seturilor de date distribuite rezistente (RDD)
- Crearea unui RDD
- Implementarea transformărilor RDD
- Demonstrație: Implementarea unui program de căutare text pentru titluri de filme
Gestionarea unui cluster Hadoop
- Monitorizare Hadoop
- Securizarea unui cluster Hadoop
- Adăugarea și eliminarea nodurilor
- Rularea unui criteriu de performanță
- Reglarea unui cluster Hadoop pentru optimizarea performanței
- Backup, recuperare și planificare a continuității activității
- Asigurarea unei disponibilități ridicate (HA)
Actualizarea și migrarea unui cluster Hadoop
- Evaluarea cerințelor privind volumul de muncă
- Actualizarea Hadoop
- Trecerea de la on-premise la cloud și viceversa
- Recuperarea în urma unor defecțiuni
Depanare
Rezumat și concluzii
Cerințe
- Experiență în administrarea sistemelor
- Experiență cu linia de comandă Linux .
- Înțelegere a conceptelor de big data .
Audiență
- Administratori de sistem
- DBA
Mărturii (6)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Curs - Python and Spark for Big Data (PySpark)
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Curs - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
I thought he did a great job of tailoring the experience to the audience. This class is mostly designed to cover data analysis with HIVE, but me and my co-worker are doing HIVE administration with no real data analytics responsibilities.
ian reif - Franchise Tax Board
Curs - Data Analysis with Hive/HiveQL
Sufficient hands on, trainer is knowledgable
Chris Tan
Curs - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.
Safar Alqahtani - Elm Information Security
Curs - Big Data Analytics in Health
Having hands on session / assignments