Cursuri Hadoop

Python este o limbă de programare scalabilă, flexibilă și utilizată pe scară largă pentru știința datelor și învățarea mașinilor. Spark este un motor de prelucrare a datelor utilizat în căutarea, analizarea și transformarea datelor mari, în timp ce Hadoop este un cadru de bibliotecă software pentru stocarea și prelucrarea datelor la scară largă. Această formare directă (online sau on-site) este destinată dezvoltatorilor care doresc să utilizeze și să integreze Spark, Hadoop, și Python pentru a procesa, analiza și transforma seturi de date mari și complexe. La sfârșitul cursului, participanții vor putea:

Configurați mediul necesar pentru a începe prelucrarea datelor mari cu Spark, Hadoop, și Python. Înțelegeți caracteristicile, componentele de bază și arhitectura Spark și Hadoop. Aflați cum să integrați Spark, Hadoop, și Python pentru prelucrarea datelor mari. Explorați instrumentele din ecosistemul Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka și Flume). Construiți sisteme de recomandare de filtrare colaborative similare cu Netflix, YouTube, Amazon, Spotify și Google. Utilizați Apache Mahout pentru a scala algoritmele de învățare cu mașină.

Formatul cursului

Lecții și discuții interactive. Multe exerciții și practici. Implementarea pe mâini într-un mediu live-lab.

Opțiuni de personalizare

Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

Acest curs acoperă modul de utilizare a limbajului SQL Hive (AKA: Hive HQL, SQL on Hive , Hive QL) pentru persoanele care extrag date din Hive

Datameer este o platformă de business intelligence și de analiză construită pe Hadoop Permite enduserilor să acceseze, să exploreze și să coreleze datele de mari dimensiuni, structurate, semistructurate și nestructurate într-o manieră simplă În această instruire instruită, participanții vor învăța cum să folosească Datameer pentru a depăși curba de învățare abruptă a lui Hadoop, deoarece ei parcurg configurarea și analiza unei serii de mari surse de date Până la sfârșitul acestui curs, participanții vor putea: Creați, curățați și explorați interactiv un lac de date pentru întreprinderi Accesați depozite de date de business intelligence, baze de date tranzacționale și alte magazine analitice Utilizați o interfață de utilizator a foii de calcul pentru a proiecta conducte de procesare a datelor endtoend Accesați funcțiile pre-construite pentru a explora relații complexe de date Utilizați vrăjitoare draganddrop pentru a vizualiza date și a crea tablouri de bord Utilizați tabele, grafice, grafice și hărți pentru a analiza rezultatele interogării Public Analiști de date Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Alluxio este un sistem de stocare distribuit virtual cu sursă deschisă care unifică sisteme de stocare diferite și permite aplicațiilor să interacționeze cu datele la viteza de memorie. Acesta este utilizat de companii precum Intel, Baidu și Alibaba. În această instruire condusă de instructori, cursuri live, participanții vor învăța cum să utilizeze Alluxio pentru a purta diferite cadre de calcul cu sisteme de stocare și pentru a gestiona în mod eficient datele de scară multi-petabyte pe măsură ce trec prin crearea unei aplicații cu Alluxio. La sfârșitul cursului, participanții vor putea:

Dezvoltați o aplicație cu Alluxio Conectați sistemele de date mari și aplicațiile în timp ce păstrați un spațiu de nume Extrage eficient valoarea din datele mari în orice format de stocare Îmbunătățirea performanței sarcinii de lucru Dezvoltați și gestionați Alluxio independent sau clusterat

Audienţă

Știință de date Dezvoltatori Administratorul sistemului

Formatul cursului

Lecții parțiale, discuții parțiale, exerciții și practici grele

Public: Cursul este destinat specialiștilor IT care caută o soluție pentru stocarea și procesarea seturilor de date mari într-un mediu distribuit al sistemului Go al: Cunoștințe aprofundate privind administrarea clusterului Hadoop .

Acest curs este destinat dezvoltatorilor, arhitecților, oamenilor de știință de date sau oricăror profiluri care necesită acces la date intensiv sau regulat. Obiectivul principal al cursului este manipularea și transformarea datelor. Printre instrumentele din ecosistemul Hadoop , acest curs se numără utilizarea Porcului și a Hive ambele fiind intens utilizate pentru transformarea și manipularea datelor. Această instruire abordează, de asemenea, valorile performanței și optimizarea performanței. Cursul este în întregime practicat și este punctat de prezentări ale aspectelor teoretice.

Analiza datelor mari implică procesul de examinare a unor cantități mari de seturi de date variate pentru a descoperi corelații, tipare ascunse și alte informații utile. Industria sănătății are cantități masive de date medicale și clinice eterogene complexe. Aplicarea analizelor de date mari asupra datelor de sănătate prezintă un potențial imens în obținerea unor perspective pentru îmbunătățirea furnizării asistenței medicale. Cu toate acestea, enormitatea acestor seturi de date prezintă provocări mari în analize și aplicații practice într-un mediu clinic. În cadrul acestui instruire, instruit în direct (de la distanță), participanții vor învăța cum să efectueze analize de date mari în sănătate, în timp ce parcurg o serie de exerciții practice în laborator live. Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați instrumente de analiză a datelor mari precum Hadoop MapReduce și Spark
• Înțelegeți caracteristicile datelor medicale
• Aplicați tehnici de date mari pentru a trata datele medicale
• Studiați sisteme de date mari și algoritmi în contextul aplicațiilor pentru sănătate

Public

• Dezvoltatori
• Oamenii de știință de date

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice.

Notă

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Cursul este dedicat specialiștilor IT care caută o soluție pentru stocarea și procesarea seturilor mari de date în mediul sistemelor distribuite Obiectivul cursului: Obținerea de cunoștințe despre administrarea clusterului Hadoop

Apache Hadoop este cel mai popular cadru pentru procesarea Big Data pe clustere de servere. În acest curs de trei (opțional, patru) zile, participanții vor afla despre beneficiile și cazurile de utilizare pentru Hadoop și ecosistemul său, cum să planifice desfășurarea și creșterea clusterului, cum să instalați, să mențineți, să monitorizați, să depanați și să optimizați Hadoop . Ei vor practica, de asemenea, încărcarea de date în grup, vor cunoaște diverse distribuții Hadoop și vor practica instalarea și gestionarea instrumentelor de ecosistem Hadoop . Cursul se încheie cu discuția despre asigurarea unui cluster cu Kerberos. "... Materialele au fost foarte bine pregătite și acoperite cu atenție. Laboratorul a fost foarte util și bine organizat "
- Andrew Nguyen, Inginer Principal de Integrare DW, Microsoft Online Advertising Public Administratorii Hadoop Format Prelegeri și laboratoare, echilibru aproximativ 60%, 40% laboratoare.

Apache Hadoop is the most popular framework for processing Big Data. Hadoop provides rich and deep analytics capability, and it is making in-roads in to tradional BI analytics world. This course will introduce an analyst to the core components of Hadoop eco system and its analytics Audience Business Analysts Duration three days Format Lectures and hands on labs.

Apache Hadoop este cel mai popular cadru pentru procesarea Big Data pe clustere de servere. Acest curs va introduce un dezvoltator pentru diferite componente (HDFS, MapReduce, de porc, Hive și HBase) Hadoop ecosistemului.

Apache Hadoop este unul dintre cele mai populare cadre pentru procesarea Big Data pe grupuri de servere. Acest curs se ocupă de gestionarea datelor în HDFS, Porci avansate, Hive și HBase. Aceste tehnici avansate de programare vor fi benefice pentru dezvoltatorii Hadoop experiență. Public : dezvoltatori Durata: trei zile Format: prelegeri (50%) și laboratoare practice (50%).

Hadoop este cel mai popular cadru de prelucrare a datelor din Big Data .

Pe măsură ce tot mai multe proiecte IT și software migrează de la procesarea locală și gestionarea datelor la procesarea distribuită și stocarea mare a datelor, managerii de proiect găsesc nevoia de a-și îmbunătăți cunoștințele și abilitățile pentru a înțelege conceptele și practicile relevante pentru proiectele și oportunitățile Big Data Acest curs introduce Manageri de proiect la cel mai popular cadru de prelucrare a datelor Big: Hadoop În cadrul acestui antrenament instruit, participanții vor învăța componentele esențiale ale ecosistemului Hadoop și modul în care aceste tehnologii pot fi folosite pentru a rezolva probleme de mare amploare În procesul de învățare a acestor fundații, participanții își vor îmbunătăți capacitatea de a comunica cu dezvoltatorii și implementatorii acestor sisteme, precum și cu oamenii de știință și analiștii care implică multe proiecte IT Public Managerii de proiect care doresc să pună în aplicare Hadoop în dezvoltarea lor sau infrastructura IT Managerii de proiect care au nevoie să comunice cu echipe interdependente, care includ ingineri de date mari, oameni de știință și analiști de afaceri Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Public: Acest curs are rolul de a demistifica o mare tehnologie de date / hadoop și de a arăta că nu este greu de înțeles.

Hadoop este un cadru de prelucrare popular Big Data. Python este un limbaj de programare de nivel înalt, cunoscut pentru sintaza sa clară și readabilitatea codului. În acest curs de instruire, participanții vor învăța cum să lucreze cu Hadoop, MapReduce, Pig și Spark folosind Python pe măsură ce trec prin mai multe exemple și utilizează cazuri. La sfârșitul cursului, participanții vor putea:

Înțelegeți conceptele de bază din spatele Hadoop, MapReduce, Pig și Spark Utilizați Python cu Hadoop Sistem de fișiere distribuite (HDFS), MapReduce, Pig și Spark Utilizați Snakebite pentru a accesa în mod programat HDFS în Python Utilizați mrjob pentru a scrie MapReduce locuri de muncă în Python Scrieți programe Spark cu Python Extindeți funcționalitatea porcului folosind Python UDF-uri Gestionarea MapReduce locuri de muncă și scripte Pig folosind Luigi

Audienţă

Dezvoltatori profesioniștii IT

Formatul cursului

Lecții parțiale, discuții parțiale, exerciții și practici grele

Apache Hadoop este un cadru popular de prelucrare a datelor pentru prelucrarea seturilor mari de date pe mai multe computere. Această formare directă, condusă de instructori (online sau on-site) este destinată administratorilor de sistem care doresc să învețe cum să stabilească, să implementeze și să gestioneze Hadoop clustere în cadrul organizației lor. La sfârșitul cursului, participanții vor putea:

Instalați și configurați Apache Hadoop. Înțelegeți cele patru componente principale ale ecosistemului Hadoop: HDFS, MapReduce, YARN și Hadoop Common. Utilizați sistemul de fișiere distribuit (HDFS) pentru a măsura un cluster la sute sau mii de noduri. •   Instalați HDFS pentru a funcționa ca un motor de stocare pentru descărcările on-premise Spark. Setarea Spark pentru a accesa soluții alternative de stocare, cum ar fi Amazon S3 și NoSQL sisteme de bază de date, cum ar fi Redis, Elasticsearch, Couchbase, Aerospike, etc. Executați sarcini administrative, cum ar fi furnizarea, gestionarea, monitorizarea și securizarea unui cluster Apache Hadoop.

Formatul cursului

Lecții și discuții interactive. Multe exerciții și practici. Implementarea pe mâini într-un mediu live-lab.

Opțiuni de personalizare

Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

Acest curs introduce HBase - un magazin No SQL pe partea de sus a Hadoop . Cursul este destinat dezvoltatorilor care vor folosi HBase pentru a dezvolta aplicații și administratorii care vor gestiona clusterele HBase. Vom merge un dezvoltator prin arhitectura HBase și modelarea datelor și dezvoltarea aplicațiilor pe HBase. Acesta va discuta, de asemenea, folosind MapReduce cu HBase și câteva subiecte de administrare legate de optimizarea performanței. Cursul este foarte practic, cu multe exerciții de laborator.
Durata : 3 zile Audiență : dezvoltatori și administratori

Public

• Dezvoltatori

Formatul cursului

• Prelegeri, practică practică, mici teste pe parcursul evaluării înțelegerii

Apache NiFi (Hortonworks DataFlow) este o platformă de logistică integrată în timp real a datelor și o simplă platformă de procesare a evenimentelor care permite mutarea, urmărirea și automatizarea datelor între sisteme. Este scris folosind o programare bazată pe fluxuri și oferă o interfață de utilizator bazată pe web pentru a gestiona fluxurile de date în timp real. În cadrul acestui training, instruit în direct (la fața locului sau la distanță), participanții vor învăța cum să se implementeze și să gestioneze Apache NiFi într-un mediu de laborator live. Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați Apachi NiFi.
• Sursa, transformarea și gestionarea datelor din surse de date disparate, distribuite, inclusiv baze de date și lacuri de date mari.
• Automatizarea fluxurilor de date.
• Activați analizele de streaming.
• Aplicați diverse abordări pentru ingestia de date.
• Transformați Big Data și în perspective de afaceri.

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Apache NiFi (Hortonworks DataFlow) este o platformă de logistică integrată în timp real a datelor și o simplă platformă de procesare a evenimentelor care permite mutarea, urmărirea și automatizarea datelor între sisteme. Este scris folosind o programare bazată pe fluxuri și oferă o interfață de utilizator bazată pe web pentru a gestiona fluxurile de date în timp real. În cadrul acestui training, instruit în direct, participanții vor învăța fundamentele programării bazate pe fluxuri, deoarece dezvoltă o serie de extensii demo, componente și procesoare care folosesc Apache NiFi . Până la sfârșitul acestui antrenament, participanții vor putea:

• Înțelegeți arhitectura NiFi și conceptele fluxului de date.
• Dezvoltați extensii folosind API-uri NiFi și terțe părți.
• Personalizate dezvoltă propriul procesor Apache Nifi.
• Ingerați și prelucrați datele în timp real din formate de fișiere și surse de date diferite și neobișnuite.

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Apache Samza este un cadru de calcul asincron, asincron, în timp real, open source Utilizează Apache Kafka pentru mesagerie și Apache Hadoop YARN pentru toleranță la erori, izolarea procesorului, securitate și gestionarea resurselor. Acest instruire live, condus de instructor, introduce principiile din spatele sistemelor de mesagerie și procesarea fluxului distribuit, în timp ce participanții parcurg prin crearea unui proiect bazat pe Samza și execuția postului. Până la sfârșitul acestui antrenament, participanții vor putea:

• Utilizați Samza pentru a simplifica codul necesar pentru a produce și consuma mesaje.
• Decuplați gestionarea mesajelor dintr-o aplicație.
• Utilizați Samza pentru a implementa calcule asincrone aproape în timp real.
• Utilizați procesarea fluxului pentru a oferi un nivel mai mare de abstractizare asupra sistemelor de mesagerie

Public

• Dezvoltatori

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

Sqoop este un instrument software open source pentru transferul de date intre Hadoop si baze de date relationale sau mainframe Acesta poate fi folosit pentru a importa date din sistemul de gestionare a bazelor de date relaționale (RDBMS), cum ar fi MySQL sau Oracle sau un mainframe, în sistemul de distribuire a fișierelor Hadoop (HDFS) Ulterior, datele pot fi transformate în Hadoop MapReduce și apoi reexportate înapoi într-o RDBMS În acest training instruit, participanții vor învăța cum să utilizeze Sqoop pentru a importa date dintr-o bază de date relațională tradițională în Hadoop de stocare, cum ar fi HDFS sau Hive și invers Până la sfârșitul acestui curs, participanții vor putea: Instalați și configurați Sqoop Importați date din MySQL în HDFS și stup Importați date din HDFS și Hive în MySQL Public Administratorii de sistem Ingineri de date Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră Notă Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja .

Tigon este o sursă open source, în timp real, lowlatency, highthroughput, YARN nativ, cadru de procesare a fluxului care se află pe partea de sus a HDFS și HBase pentru persistență Aplicațiile Tigon abordează cazuri de utilizare, cum ar fi detectarea și analiza intruziunilor în rețea, analiza pieței sociale media, analiza locației și recomandările utilizatorilor în timp real Această instruire live instrucționată introduce abordarea lui Tigon de a combina procesul de procesare în timp real și lot, pe măsură ce participanții merg prin crearea unei exemple de aplicații Până la sfârșitul acestui curs, participanții vor putea: Creați aplicații puternice de procesare a fluxului pentru a gestiona volume mari de date Procesați surse de flux, cum ar fi jurnalele Twitter și Webserver Utilizați Tigon pentru conectarea rapidă, filtrarea și agregarea fluxurilor Public Dezvoltatori Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Cloudera Impala este un motor de interogare cu sursă deschisă de procesare masivă paralelă (MPP) SQL pentru clusterele Apache Hadoop. Impala permite utilizatorilor să emită interogări cu latență redusă SQL la datele stocate în Hadoop Distributed File System și Apache Hbase fără a necesita deplasarea sau transformarea datelor. Audiență Acest curs se adresează analiștilor și cercetătorilor de date care efectuează analize asupra datelor stocate în Hadoop prin intermediul instrumentelor de Business Intelligence sau SQL. După acest curs, delegații vor fi capabili să

Extrageți informații semnificative din clusterele Hadoop cu Impala. Scrierea de programe specifice pentru a facilita Business Intelligence în Impala SQL Dialect. Rezolvarea problemelor în Impala.

Apache Ambari este o platformă de management open-source pentru aprovizionare, gestionare, monitorizare și securizare a clusterelor Apache Hadoop . În cadrul acestei instruiri live, instruită de instructor, participanții vor învăța instrumentele și practicile de management oferite de Ambari pentru a gestiona cu succes grupurile Hadoop . Până la sfârșitul acestui antrenament, participanții vor putea:

• Configurați un cluster Big Data direct folosind Ambari
• Aplicați funcțiile și funcționalitățile avansate ale Ambari la diverse cazuri de utilizare
• Adăugați și eliminați nodurile fără probleme, după cum este necesar
• Îmbunătățiți performanțele unui cluster Hadoop prin reglare și reglare

Public

• DevOps
• Administratori de sistem
• DBAs
• Profesioniști în testarea Hadoop

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

Hortonworks Data Platform (HDP) este o platformă de suport open-source Apache Hadoop care oferă o bază stabilă pentru dezvoltarea de soluții de date mari pe ecosistemul Apache Hadoop . Acest instruire în direct (la fața locului sau la distanță), condus de instructor, introduce Hortonworks Data Platform (HDP) și parcurge participanții prin implementarea soluției Spark + Hadoop . Până la sfârșitul acestui antrenament, participanții vor putea:

• Folosiți Hortonworks pentru a rula în mod sigur Hadoop la scară largă.
• Unificați capacitățile de securitate, guvernare și operațiuni ale lui Hadoop cu fluxurile de lucru analitice agile Spark.
• Folosiți Hortonworks pentru a investiga, valida, certifica și susține fiecare componentă dintr-un proiect Spark.
• Procesați diferite tipuri de date, inclusiv structurate, nestructurate, în mișcare și în repaus.

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.