Stream processing Training in România

Apache Samza este un cadru de calcul asincron, asincron, în timp real, open source Utilizează Apache Kafka pentru mesagerie și Apache Hadoop YARN pentru toleranță la erori, izolarea procesorului, securitate și gestionarea resurselor. Acest instruire live, condus de instructor, introduce principiile din spatele sistemelor de mesagerie și procesarea fluxului distribuit, în timp ce participanții parcurg prin crearea unui proiect bazat pe Samza și execuția postului. Până la sfârșitul acestui antrenament, participanții vor putea:

• Utilizați Samza pentru a simplifica codul necesar pentru a produce și consuma mesaje.
• Decuplați gestionarea mesajelor dintr-o aplicație.
• Utilizați Samza pentru a implementa calcule asincrone aproape în timp real.
• Utilizați procesarea fluxului pentru a oferi un nivel mai mare de abstractizare asupra sistemelor de mesagerie

Public

• Dezvoltatori

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

Kafka Streams este o bibliotecă din partea clientului pentru construirea de aplicații și microservicii ale căror date sunt transmise către și de la un sistem de mesagerie Kafka. În mod tradițional, Apache Kafka s-a bazat pe Apache Spark sau Apache Storm pentru a prelucra date între producătorii de mesaje și consumatori. Apelând API-ul Kafka Streams din cadrul unei aplicații, datele pot fi procesate direct în Kafka, ocolind nevoia de a trimite datele către un cluster separat pentru procesare. În cadrul acestui training, instruit în direct, participanții vor învăța cum să integreze Kafka Streams într-un set de aplicații Java care să treacă date de la și de la Apache Kafka pentru procesarea fluxului. Până la sfârșitul acestui antrenament, participanții vor putea:

• Înțelegeți caracteristicile și avantajele Kafka Streams față de alte cadre de procesare a fluxurilor
• Procesați fluxul de date direct în cadrul unui cluster Kafka
• Scrieți o aplicație sau microservice Java sau Scala care se integrează cu Kafka și Kafka Streams
• Scrieți un cod concis care transformă subiectele Kafka de intrare în subiecte Kafka de ieșire
• Construiți, împachetați și implementați aplicația

Public

• Dezvoltatori

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

notițe

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza

În cadrul acestui curs de instruire live, condus de un instructor în România (la fața locului sau la distanță), participanții vor învăța cum să configureze și să integreze diferite cadre Stream Processing cu sistemele de stocare de date mari existente și cu aplicațiile software și microserviciile aferente. La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați diferite cadre Stream Processing, cum ar fi Spark Streaming și Kafka Streaming.
• Înțelegeți și selectați cel mai potrivit cadru pentru treaba respectivă.
.
• Procesați date în mod continuu, simultan și în mod înregistrare cu înregistrare.
.
• Integrați Stream Processing soluțiile cu bazele de date existente, depozitele de date, lacurile de date, etc.
.
• Integrați cea mai potrivită bibliotecă de procesare a fluxurilor cu aplicații de întreprindere și microservicii.

acest instructor-condus, Live Training (la fața locului sau la distanță) este destinat ingineri care doresc să utilizeze confluente (o distribuție de Kafka) pentru a construi și de a gestiona o platformă de prelucrare a datelor în timp real pentru aplicațiile lor. până la sfârșitul acestui training, participanții vor putea:

• instala și configura platforma confluent.
• utilizarea confluente & #39; s instrumente de gestionare și servicii pentru a rula Kafka mai ușor.
• stoca și procesul de intrare flux de date.
• optimiza și gestiona clustere Kafka.
• sigure fluxuri de date.

format al cursului

• interactive prelegere și discuții.
• o mulțime de exerciții și practică.
• hands-on punerea în aplicare într-un mediu de laborator live.

curs opțiuni de personalizare

• acest curs se bazează pe versiunea Open Source de confluente: confluent deschidere acru.
• pentru a solicita un training personalizat pentru acest curs, va rugam sa ne contactati pentru a aranja.

Această instruire live, condusă de un instructor în România (online sau la fața locului) se adresează inginerilor de date, oamenilor de știință de date și programatorilor care doresc să utilizeze caracteristicile Apache Kafka în streamingul de date cu Python. La sfârșitul acestui curs de formare, participanții vor fi capabili să utilizeze Apache Kafka pentru a monitoriza și gestiona condițiile din fluxurile de date continue folosind programarea Python.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează inginerilor de date, oamenilor de știință de date și programatorilor care doresc să utilizeze caracteristicile Spark Streaming în procesarea și analiza datelor în timp real. La sfârșitul acestui curs, participanții vor putea utiliza Spark Streaming pentru a procesa fluxuri de date în timp real pentru a le utiliza în baze de date, sisteme de fișiere și tablouri de bord în timp real.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) este destinat dezvoltatorilor care doresc să implementeze procesarea fluxurilor Apache Kafka fără a scrie cod. La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați Confluent KSQL.
.
• Configurați o conductă de procesare a fluxurilor folosind doar comenzi SQL (fără codare Java sau Python).
.
• Realizați filtrarea datelor, transformările, agregările, îmbinările, fereastrarea și sesizarea în întregime în SQL.
.
• Proiectați și implementați interogări interactive și continue pentru ETL în flux și analize în timp real.
.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează dezvoltatorilor care doresc să învețe principiile care stau la baza stocării persistente și pure în memorie, pe măsură ce parcurg crearea unui proiect de exemplu de calcul în memorie. La sfârșitul acestui curs de formare, participanții vor fi capabili să:

Utilizați Ignite pentru persistența în memorie, pe disc, precum și pentru o bază de date pur distribuită în memorie. Obțineți persistență fără a sincroniza datele cu o bază de date relațională. Utilizați Ignite pentru a efectua îmbinări SQL și distribuite. Îmbunătățiți performanța prin mutarea datelor mai aproape de CPU, folosind memoria RAM ca stocare. Răspândiți seturile de date pe un cluster pentru a obține scalabilitate orizontală. Integrați Ignite cu RDBMS, NoSQL, Hadoop și procesoare de învățare automată.

Apache Beam este un model de programare unificat, open source, pentru definirea și executarea conductelor paralele de procesare a datelor. Puterea sa constă în capacitatea sa de a rula conducte de loturi și de streaming, execuția fiind realizată de unul dintre back-end-urile de procesare distribuite acceptate de Beam: Apache Apex , Apache Flink , Apache Spark și Go ogle Cloud Dataflow. Apache Beam este utilă pentru sarcinile ETL (Extract, Transform și Load), cum ar fi mutarea datelor între diferite suporturi de stocare și surse de date, transformarea datelor într-un format mai dorit și încărcarea datelor într-un nou sistem. În acest training, instruit în direct (la fața locului sau la distanță), participanții vor învăța cum să implementeze SDK-urile Apache Beam într-o Java sau Python care definește o conductă de prelucrare a datelor pentru descompunerea unui set de date mari în bucăți mai mici pentru o prelucrare independentă și paralelă . Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați Apache Beam .
• Utilizați un singur model de programare pentru a efectua atât procesarea lotului, cât și fluxul, pentru a elimina Java lor Java sau Python .
• Executați conducte în mai multe medii.

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

Notă

• Acest curs va fi disponibil Scala în viitor. Vă rugăm să ne contactați pentru a vă aranja.

Apache Apex este o platformă nativă YARN care unifică procesarea fluxurilor și loturilor. Procesează date mari în mișcare într-un mod care poate fi scalabil, performant, tolerant la erori, statistic, sigur, distribuit și ușor operabil. Această instruire în direct, dirijată de instructor, introduce arhitectura de procesare a fluxurilor unificate de Apache Apex și parcurge participanții prin crearea unei aplicații distribuite folosind Apex pe Hadoop . Până la sfârșitul acestui antrenament, participanții vor putea:

• Înțelegeți conceptele conductelor de procesare a datelor, cum ar fi conectori pentru surse și chiuvete, transformări comune de date etc.
• Construiți, scalați și optimizați o aplicație Apex
• Procesați fluxuri de date în timp real în mod fiabil și cu latență minimă
• Utilizați Apex Core și biblioteca Apex Malhar pentru a permite dezvoltarea rapidă a aplicației
• Utilizați API-ul Apex pentru a scrie și reutiliza codul Java existent
• Integrați Apex în alte aplicații ca motor de procesare
• Reglarea, testarea și scalarea aplicațiilor Apex

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Apache Storm este un motor de calcul distribuit în timp real utilizat pentru a permite inteligența de afaceri în timp real. Acest lucru se face prin a permite aplicațiilor să proceseze în mod fiabil fluxurile nedeterminate de date (de exemplu. prelucrarea fluxului). "Storm este pentru prelucrarea în timp real ceea ce Hadoop este pentru prelucrarea batch!" În această pregătire directă condusă de instructori, participanții vor învăța cum să instaleze și să configureze Apache Storm, apoi să dezvolte și să implementeze o aplicație Apache Storm pentru prelucrarea datelor mari în timp real. Unele dintre subiectele incluse în această formare includ:

• Apache Storm în contextul Hadoop
• Lucrarea cu date nelimitată
• Computație continuă
• Analiza în timp real
• Procesare distribuită RPC și ETL

Cere acest curs acum! Audienţă

• Software și dezvoltatori ETL
• Profesioniștii Mainframe
• Știință de date
• Analistii Big Data
• [ 0 ] Profesioniști

Formatul cursului

• Lecții parțiale, discuții parțiale, exerciții și practici grele

În cadrul acestui curs de instruire live, condus de un instructor în România (la fața locului sau la distanță), participanții vor învăța cum să implementeze și să administreze Apache NiFi într-un mediu de laborator live. La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați Apachi NiFi.
• Furnizați, transformați și gestionați date din surse de date disparate, distribuite, inclusiv baze de date și lacuri de date mari.
.
• Automatizați fluxurile de date.
.
• Activați analizele de streaming.
.
• Aplicați diverse abordări pentru ingestia de date.
.
• Transformați Big Data și în informații de afaceri.
.

În acest curs de instruire live, condus de un instructor în România, participanții vor învăța elementele de bază ale programării bazate pe fluxuri pe măsură ce vor dezvolta o serie de extensii, componente și procesoare demonstrative folosind Apache NiFi. La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Înțelegeți arhitectura NiFi's și conceptele de flux de date.
• Dezvoltați extensii folosind NiFi și API-uri de la terți.
• Dezvoltă personalizat propriul procesor Apache Nifi.
.
• Ingerați și procesați date în timp real din formate de fișiere și surse de date disparate și neobișnuite.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) introduce principiile și abordările din spatele procesării distribuite a fluxurilor și a datelor pe loturi și îi conduce pe participanți prin crearea unei aplicații de streaming de date în timp real în Apache Flink. La sfârșitul acestui curs de formare, participanții vor fi capabili să:

Crearea unui mediu pentru dezvoltarea aplicațiilor de analiză a datelor. Înțelegeți cum funcționează biblioteca de procesare grafică Apache Flink's s (Gelly). Împachetați, executați și monitorizați aplicațiile de streaming de date bazate pe Flink, tolerante la erori. Gestionați diverse sarcini de lucru. Efectuați analize avansate. Configurați un cluster Flink cu mai multe noduri. Măsurați și optimizați performanța. Integrați Flink cu diferite sisteme Big Data. Comparați capacitățile Flink cu cele ale altor cadre de procesare a datelor mari.