Cursuri de pregatire Stream Processing with Kafka Streams

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează dezvoltatorilor care doresc să integreze Apache Kafka cu bazele de date și aplicațiile existente pentru procesare, analiză etc.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Folosească Kafka Connect pentru a introduce mărimi mari de date dintr-o bază de date în topicurile Kafka.
• Introduceți datele jurnalizate generate de serverele aplicației în topicurile Kafka.
• Make orice date colectate disponibile pentru procesare de flux.
• Exportați date din topicurile Kafka în sisteme secundare pentru stocare și analiză.

Apache Beam este un model de programare unificat, cu sursă deschisă, pentru definirea și executarea conductelor paralele de prelucrare a datelor. Puterea sa constă în capacitatea sa de a rula atât conducte pe loturi, cât și conducte de flux, execuția fiind efectuată de unul dintre back-end-urile de procesare distribuită acceptate de Beam: Apache Apex, Apache Flink, Apache Spark și Google Cloud Dataflow. Apache Beam este util pentru sarcinile ETL (Extract, Transform, and Load), cum ar fi mutarea datelor între diferite medii de stocare și surse de date, transformarea datelor într-un format mai dorit și încărcarea datelor într-un sistem nou.

În cadrul acestei formări live (la fața locului sau de la distanță) susținute de un instructor, participanții vor învăța cum să implementeze SDK-urile Apache Beam într-o aplicație Java sau Python care definește o conductă de procesare a datelor pentru descompunerea unui set de date mari în bucăți mai mici pentru procesare independentă, paralelă.

La finalul acestei instruiri, participanții vor fi capabili să:

• Să instaleze și să configureze Apache Beam.
• Să utilizeze un singur model de programare pentru a efectua atât procesarea pe loturi, cât și pe fluxuri din cadrul aplicației Java sau Python.
• Să execute pipeline-uri în mai multe medii.

Formatul cursului

• Parte prelegere, parte discuție, exerciții și multă practică

Notă

• Acest curs va fi disponibil Scala în viitor. Vă rugăm să ne contactați pentru a aranja.

acest instructor-condus, Live Training (la fața locului sau la distanță) este destinat ingineri care doresc să utilizeze confluente (o distribuție de Kafka) pentru a construi și de a gestiona o platformă de prelucrare a datelor în timp real pentru aplicațiile lor.

până la sfârșitul acestui training, participanții vor putea:

• Instala și configura Confluent Platform.
• Folosi instrumentele și serviciile de gestionare ale lui Confluent pentru a rula mai ușor Kafka.
• Stoca și procesa datele din fluxuri într-o manieră continuă.
• Optimiza și gestiona cluster-urile Kafka.
• Sigurați-vă fluxurile de date.

format al cursului

• Lecție interactivă și discuții.
• Multe exerciții și practică.
• Punerea în aplicare directă într-un mediu de laborator live.

curs opțiuni de personalizare

• Acest curs se bazează pe versiunea open source a lui Confluent: Confluent Open Source.
• Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a organiza acest lucru.

Apache Kafka este o platformă de streaming distribuită. Este de facto un standard pentru construirea conductelor de date și rezolvă o mulțime de cazuri de utilizare diferite în jurul procesării de date: poate fi utilizat ca coadă de mesaje, jurnal distribuit, procesor de flux etc.

Vom începe cu o teorie din spatele conductelor de date în general, apoi vom continua cu concepte fundamentale din spatele Kafka. Vom descoperi, de asemenea, componente importante precum Kafka Streams și Kafka Connect.

Acest curs de formare live, condus de un instructor în România (online sau la fața locului) prezintă principiile și abordările care stau la baza procesării distribuite a datelor în flux și pe loturi și conduce participanții prin crearea unei aplicații de flux de date în timp real în Apache Flink.

Până la sfârșitul acestui curs, participanții vor fi capabili să:

• Să creeze un mediu pentru dezvoltarea de aplicații de analiză a datelor.
• Să înțeleagă cum funcționează biblioteca de procesare a grafurilor (Gelly) din Apache Flink.
• Să împacheteze, să execute și să monitorizeze aplicații de flux de date bazate pe Flink, tolerante la erori.
• Gestionarea diverselor sarcini de lucru.
• Efectuarea de analize avansate.
• Configurarea unui cluster Flink cu mai multe noduri.
• Măsurarea și optimizarea performanței.
• Integrarea Flink cu diferite sisteme Big Data.
• Compararea capacităților Flink cu cele ale altor cadre de procesare a datelor mari.

În cadrul acestui curs de instruire live, condus de un instructor în România (la fața locului sau la distanță), participanții vor învăța cum să configureze și să integreze diferite cadre Stream Processing cu sistemele de stocare de date mari existente și cu aplicațiile software și microserviciile aferente.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați diferite cadre Stream Processing, cum ar fi Spark Streaming și Kafka Streaming.
• Înțelegeți și selectați cel mai potrivit cadru pentru treaba respectivă.
.
• Procesați date în mod continuu, simultan și în mod înregistrare cu înregistrare.
.
• Integrați Stream Processing soluțiile cu bazele de date existente, depozitele de date, lacurile de date, etc.
.
• Integrați cea mai potrivită bibliotecă de procesare a fluxurilor cu aplicații de întreprindere și microservicii.

Acest curs este destinat arhitecților de întreprinderi, dezvoltatorilor, administratorilor de sistem și oricui dorește să înțeleagă și să utilizeze un sistem de mesagerie distribuit de mare capacitate. Dacă aveți cerințe mai specifice (de exemplu, doar partea de administrare a sistemului), acest curs poate fi adaptat pentru a vă adapta mai bine nevoilor.

Această instruire live, condusă de un instructor în România (online sau la fața locului) se adresează administratorilor de sistem care doresc să configureze, să implementeze, să gestioneze și să optimizeze un cluster Kafka de nivel enterprise.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Configurați și administrați un cluster Kafka.
• Evaluați beneficiile și dezavantajele implementării Kafka on-premise vs în cloud.
.
• Dezvoltați și monitorizați Kafka în folosind diverse instrumente de mediu on-premise și cloud.
.

Această instruire live, cu instructor în România (online sau la fața locului) se adresează inginerilor de date, cercetătorilor de date și programatorilor care doresc să utilizeze caracteristicile Apache Kafka în fluxul de date cu Python.

Până la sfârșitul acestei formări, participanții vor fi capabili să utilizeze Apache Kafka pentru a monitoriza și gestiona condițiile în fluxurile continue de date utilizând programarea Python.

Acest curs de formare live, condus de un instructor în România (online sau la fața locului) se adresează dezvoltatorilor care doresc să implementeze Apache Kafka procesarea fluxurilor fără a scrie cod.

Până la sfârșitul acestei formări, participanții vor fi capabili să:

• Să instaleze și să configureze Confluent KSQL.
• Să configureze o conductă de procesare a fluxurilor utilizând numai comenzi SQL (fără codare Java sau Python).
• Să efectueze filtrarea datelor, transformări, agregări, îmbinări, ferestre și sesionări în întregime în SQL.
• Proiectați și implementați interogări interactive și continue pentru ETL în flux și analize în timp real.

În cadrul acestei formări live cu instructor în România (la fața locului sau la distanță), participanții vor învăța cum să implementeze și să gestioneze Apache NiFi într-un mediu de laborator live.

Până la sfârșitul acestui training, participanții vor fi capabili să:

• Să instaleze și să configureze Apachi NiFi.
• Să genereze, să transforme și să gestioneze date din surse de date disparate și distribuite, inclusiv baze de date și lacuri de date mari.
• Să automatizeze fluxurile de date.
• Să permită analizele de flux.
• Aplicați diverse abordări pentru ingestia datelor.
• Transformarea Big Data și în perspective de afaceri.

În cadrul acestei formări live, condusă de un instructor în România, participanții vor învăța elementele de bază ale programării bazate pe flux pe măsură ce vor dezvolta o serie de extensii, componente și procesoare demonstrative utilizând Apache NiFi.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Să înțeleagă arhitectura NiFi și conceptele de flux de date.
• Să dezvolte extensii utilizând NiFi și API-uri terțe.
• Să își dezvolte propriul procesor Apache Nifi personalizat.
• Să primească și să proceseze date în timp real din formate de fișiere și surse de date disparate și neobișnuite.

Această instruire live, cu instructor, în România (online sau la fața locului) se adresează inginerilor de date, cercetătorilor de date și programatorilor care doresc să utilizeze caracteristicile Spark Streaming în procesarea și analiza datelor în timp real.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să utilizeze Spark Streaming pentru a procesa fluxuri de date în timp real pentru a fi utilizate în baze de date, sisteme de fișiere și tablouri de bord în timp real.