Cursuri de pregatire Tigon: Real-time Streaming for the Real World

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează inginerilor de date, oamenilor de știință de date și programatorilor care doresc să utilizeze caracteristicile Spark Streaming în procesarea și analiza datelor în timp real.

La sfârșitul acestui curs, participanții vor putea utiliza Spark Streaming pentru a procesa fluxuri de date în timp real pentru a le utiliza în baze de date, sisteme de fișiere și tablouri de bord în timp real.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) este destinat dezvoltatorilor care doresc să implementeze procesarea fluxurilor Apache Kafka fără a scrie cod.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați Confluent KSQL.
.
• Configurați o conductă de procesare a fluxurilor folosind doar comenzi SQL (fără codare Java sau Python).
.
• Realizați filtrarea datelor, transformările, agregările, îmbinările, fereastrarea și sesizarea în întregime în SQL.
.
• Proiectați și implementați interogări interactive și continue pentru ETL în flux și analize în timp real.
.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Beam este un model de programare unificat, open source, pentru definirea și executarea conductelor paralele de procesare a datelor. Puterea sa constă în capacitatea sa de a rula conducte de loturi și de streaming, execuția fiind realizată de unul dintre back-end-urile de procesare distribuite acceptate de Beam: Apache Apex , Apache Flink , Apache Spark și Go ogle Cloud Dataflow. Apache Beam este utilă pentru sarcinile ETL (Extract, Transform și Load), cum ar fi mutarea datelor între diferite suporturi de stocare și surse de date, transformarea datelor într-un format mai dorit și încărcarea datelor într-un nou sistem.

În acest training, instruit în direct (la fața locului sau la distanță), participanții vor învăța cum să implementeze SDK-urile Apache Beam într-o Java sau Python care definește o conductă de prelucrare a datelor pentru descompunerea unui set de date mari în bucăți mai mici pentru o prelucrare independentă și paralelă .

Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați Apache Beam .
• Utilizați un singur model de programare pentru a efectua atât procesarea lotului, cât și fluxul, pentru a elimina Java lor Java sau Python .
• Executați conducte în mai multe medii.

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

Notă

• Acest curs va fi disponibil Scala în viitor. Vă rugăm să ne contactați pentru a vă aranja.

Apache Apex este o platformă nativă YARN care unifică procesarea fluxurilor și loturilor. Procesează date mari în mișcare într-un mod care poate fi scalabil, performant, tolerant la erori, statistic, sigur, distribuit și ușor operabil.

Această instruire în direct, dirijată de instructor, introduce arhitectura de procesare a fluxurilor unificate de Apache Apex și parcurge participanții prin crearea unei aplicații distribuite folosind Apex pe Hadoop .

Până la sfârșitul acestui antrenament, participanții vor putea:

• Înțelegeți conceptele conductelor de procesare a datelor, cum ar fi conectori pentru surse și chiuvete, transformări comune de date etc.
• Construiți, scalați și optimizați o aplicație Apex
• Procesați fluxuri de date în timp real în mod fiabil și cu latență minimă
• Utilizați Apex Core și biblioteca Apex Malhar pentru a permite dezvoltarea rapidă a aplicației
• Utilizați API-ul Apex pentru a scrie și reutiliza codul Java existent
• Integrați Apex în alte aplicații ca motor de procesare
• Reglarea, testarea și scalarea aplicațiilor Apex

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Apache Storm este un motor de calcul distribuit în timp real utilizat pentru a permite inteligența de afaceri în timp real. Acest lucru se face prin a permite aplicațiilor să proceseze în mod fiabil fluxurile nedeterminate de date (de exemplu. prelucrarea fluxului).

"Storm este pentru prelucrarea în timp real ceea ce Hadoop este pentru prelucrarea batch!"

În această pregătire directă condusă de instructori, participanții vor învăța cum să instaleze și să configureze Apache Storm, apoi să dezvolte și să implementeze o aplicație Apache Storm pentru prelucrarea datelor mari în timp real.

Unele dintre subiectele incluse în această formare includ:

• Apache Storm în contextul Hadoop
• Lucrarea cu date nelimitată
• Computație continuă
• Analiza în timp real
• Procesare distribuită RPC și ETL

Cere acest curs acum!

Audienţă

• Software și dezvoltatori ETL
• Profesioniștii Mainframe
• Știință de date
• Analistii Big Data
• [ 0 ] Profesioniști

Formatul cursului

• Lecții parțiale, discuții parțiale, exerciții și practici grele

În cadrul acestui curs de instruire live, condus de un instructor în România (la fața locului sau la distanță), participanții vor învăța cum să implementeze și să administreze Apache NiFi într-un mediu de laborator live.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați Apachi NiFi.
• Furnizați, transformați și gestionați date din surse de date disparate, distribuite, inclusiv baze de date și lacuri de date mari.
.
• Automatizați fluxurile de date.
.
• Activați analizele de streaming.
.
• Aplicați diverse abordări pentru ingestia de date.
.
• Transformați Big Data și în informații de afaceri.
.

În acest curs de instruire live, condus de un instructor în România, participanții vor învăța elementele de bază ale programării bazate pe fluxuri pe măsură ce vor dezvolta o serie de extensii, componente și procesoare demonstrative folosind Apache NiFi.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Înțelegeți arhitectura NiFi's și conceptele de flux de date.
• Dezvoltați extensii folosind NiFi și API-uri de la terți.
• Dezvoltă personalizat propriul procesor Apache Nifi.
.
• Ingerați și procesați date în timp real din formate de fișiere și surse de date disparate și neobișnuite.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) introduce principiile și abordările din spatele procesării distribuite a fluxurilor și a datelor pe loturi și îi conduce pe participanți prin crearea unei aplicații de streaming de date în timp real în Apache Flink.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

Crearea unui mediu pentru dezvoltarea aplicațiilor de analiză a datelor. Înțelegeți cum funcționează biblioteca de procesare grafică Apache Flink's s (Gelly). Împachetați, executați și monitorizați aplicațiile de streaming de date bazate pe Flink, tolerante la erori. Gestionați diverse sarcini de lucru. Efectuați analize avansate. Configurați un cluster Flink cu mai multe noduri. Măsurați și optimizați performanța. Integrați Flink cu diferite sisteme Big Data. Comparați capacitățile Flink cu cele ale altor cadre de procesare a datelor mari.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) prezintă Hortonworks Data Platform (HDP) și îi conduce pe participanți prin implementarea soluției Spark + Hadoop.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

Utilizați Hortonworks pentru a rula în mod fiabil Hadoop la scară largă. Unificați capacitățile de securitate, guvernanță și operațiuni ale Hadoop's cu fluxurile de lucru analitice agile ale Spark's. Utilizați Hortonworks pentru a investiga, valida, certifica și susține fiecare dintre componentele unui proiect Spark. Prelucrați diferite tipuri de date, inclusiv date structurate, nestructurate, în mișcare și în repaus.

Apache Ambari este o platformă de management open-source pentru aprovizionare, gestionare, monitorizare și securizare a clusterelor Apache Hadoop .

În cadrul acestei instruiri live, instruită de instructor, participanții vor învăța instrumentele și practicile de management oferite de Ambari pentru a gestiona cu succes grupurile Hadoop .

Până la sfârșitul acestui antrenament, participanții vor putea:

• Configurați un cluster Big Data direct folosind Ambari
• Aplicați funcțiile și funcționalitățile avansate ale Ambari la diverse cazuri de utilizare
• Adăugați și eliminați nodurile fără probleme, după cum este necesar
• Îmbunătățiți performanțele unui cluster Hadoop prin reglare și reglare

Public

• DevOps
• Administratori de sistem
• DBAs
• Profesioniști în testarea Hadoop

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

Acest curs acoperă modul de utilizare a limbajului SQL Hive (AKA: Hive HQL, SQL on Hive , Hive QL) pentru persoanele care extrag date din Hive

Apache Samza este un cadru de calcul asincron, asincron, în timp real, open source Utilizează Apache Kafka pentru mesagerie și Apache Hadoop YARN pentru toleranță la erori, izolarea procesorului, securitate și gestionarea resurselor.

Acest instruire live, condus de instructor, introduce principiile din spatele sistemelor de mesagerie și procesarea fluxului distribuit, în timp ce participanții parcurg prin crearea unui proiect bazat pe Samza și execuția postului.

Până la sfârșitul acestui antrenament, participanții vor putea:

• Utilizați Samza pentru a simplifica codul necesar pentru a produce și consuma mesaje.
• Decuplați gestionarea mesajelor dintr-o aplicație.
• Utilizați Samza pentru a implementa calcule asincrone aproape în timp real.
• Utilizați procesarea fluxului pentru a oferi un nivel mai mare de abstractizare asupra sistemelor de mesagerie

Public

• Dezvoltatori

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

Kafka Streams este o bibliotecă din partea clientului pentru construirea de aplicații și microservicii ale căror date sunt transmise către și de la un sistem de mesagerie Kafka. În mod tradițional, Apache Kafka s-a bazat pe Apache Spark sau Apache Storm pentru a prelucra date între producătorii de mesaje și consumatori. Apelând API-ul Kafka Streams din cadrul unei aplicații, datele pot fi procesate direct în Kafka, ocolind nevoia de a trimite datele către un cluster separat pentru procesare.

În cadrul acestui training, instruit în direct, participanții vor învăța cum să integreze Kafka Streams într-un set de aplicații Java care să treacă date de la și de la Apache Kafka pentru procesarea fluxului.

Până la sfârșitul acestui antrenament, participanții vor putea:

• Înțelegeți caracteristicile și avantajele Kafka Streams față de alte cadre de procesare a fluxurilor
• Procesați fluxul de date direct în cadrul unui cluster Kafka
• Scrieți o aplicație sau microservice Java sau Scala care se integrează cu Kafka și Kafka Streams
• Scrieți un cod concis care transformă subiectele Kafka de intrare în subiecte Kafka de ieșire
• Construiți, împachetați și implementați aplicația

Public

• Dezvoltatori

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

notițe

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza