Schița de curs

1: HDFS (17%)

  • Descrieți funcția daemon-urilor HDFS
  • Descrieți funcționarea normală a unui cluster Apache Hadoop, atât pentru stocare de date, cât și procesare.
  • Identificați caracteristicile actuale ale sistemelor de calcul care motivează utilizarea unui sistem precum Apache Hadoop.
  • Clasificați principalele obiective ale proiectării HDFS
  • Într-un scenariu dat, identificați cazul de utilizare potrivit pentru Federarea HDFS
  • Identificați componentele și daemon-urile unui cluster HDFS HA-Quorum
  • Analizați rolul securității HDFS (Kerberos)
  • Determinați ce alegere de serializare a datelor este cea mai potrivită pentru un scenariu dat
  • Descrieți căile de citire și scriere a fișierelor
  • Identificați comenzi pentru manipularea fișierelor în Hadoop File System Shell

2: YARN și MapReduce versiune 2 (MRv2) (17%)

  • Comprendeți cum actualizarea unui cluster de la Hadoop 1 la Hadoop 2 afectează setările clusterului
  • Comprendeți cum să deployați MapReduce v2 (MRv2 / YARN), inclusiv toate daemon-urile YARN
  • Comprendeți strategia de bază a proiectării pentru MapReduce v2 (MRv2)
  • Determinați cum YARN gestionează alocațiile de resurse
  • Identificați workflow-ul unui job MapReduce care rulează pe YARN
  • Determinați fișierele pe care trebuie să le modificați și cum pentru a migra un cluster din MapReduce versiune 1 (MRv1) în MapReduce versiune 2 (MRv2) rulând pe YARN.

3: Planificarea Clusterului Hadoop (16%)

  • Punctele principale de luat în considerare la alegerea hardware-ului și sistemelor de operare pentru a gazdui un cluster Apache Hadoop.
  • Analizați alegerile în selectarea unui OS
  • Comprendeți ajustările kernel și swap-ul diskuilor
  • Într-un scenariu dat și model de sarcină, identificați o configurare hardware potrivită pentru scenariu
  • Într-un scenariu dat, determinați componentele ecosistemului pe care clusterul trebuie să le ruleze pentru a îndeplini SLA-ul
  • Dimensiuni ale clusterului: într-un scenariu dat și frecvență de execuție, identificați detaliile sarcinii, inclusiv CPU, memorie, stocare, I/O diskuilor
  • Dimensiuni și configurarea discurilor, incluzând JBOD versus RAID, SAN-uri, virtualizare și cerințele de dimensiune a discurilor într-un cluster
  • Topologii rețele: compreneți utilizarea rețelei în Hadoop (atât pentru HDFS cât și MapReduce) și propuneți sau identificați componente cheie de proiectare a rețelei pentru un scenariu dat

4: Instalarea și Administrația Clusterului Hadoop (25%)

  • Într-un scenariu dat, identificați cum clusterul va gestiona eșecurile discurilor și a mașinilor
  • Analizați configurarea jurnalizării și formatul fișierului de configurare al jurnalizării
  • Comprendeți bazele metricelor Hadoop și monitorizării sănătății clusterului
  • Identificați funcția și scopul instrumentelor disponibile pentru monitorizarea clusterului
  • Fie capabil să instalezi toate componentele ecosistemului din CDH 5, inclusiv (dar nu limitând la): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive și Pig
  • Identificați funcția și scopul instrumentelor disponibile pentru gestionarea sistemului de fișiere Apache Hadoop

5: Ressource Management (10%)

  • Comprendeți obiectivele generale ale proiectării pentru fiecare din programatorii Hadoop
  • Într-un scenariu dat, determinați cum Scheduler-ul FIFO aloca resursele clusterului
  • Într-un scenariu dat, determinați cum Scheduler-ul Fair aloca resursele clusterului sub YARN
  • Într-un scenariu dat, determinați cum Scheduler-ul Capacity aloca resursele clusterului

6: Monitorizare și Jurnalizare (15%)

  • Comprendeți funcțiile și caracteristicile abilităților de colectare a metricelor ale Hadoop
  • Analizați interfețele Web NameNode și JobTracker
  • Comprendeți cum să monitorizați daemon-urile clusterului
  • Identificați și monitorizați utilizarea CPU pe noduri principale
  • Descrieți cum să monitorizați swap-ul și alocarea memoriei pe toate nodurile
  • Identificați cum să vizualizați și gestionați fișierele de jurnal ale Hadoop
  • Interpretă un fișier de jurnal

Cerințe

  • Competențe de administrare Linux de bază
  • Conoștințe de programare de bază
 35 ore

Numărul de participanți


Pret per participant

Mărturii (3)

Upcoming Courses

Categorii înrudite