Cursuri Stream processing

Apache Samza este un cadru de calcul asincron, asincron, în timp real, open source Utilizează Apache Kafka pentru mesagerie și Apache Hadoop YARN pentru toleranță la erori, izolarea procesorului, securitate și gestionarea resurselor. Acest instruire live, condus de instructor, introduce principiile din spatele sistemelor de mesagerie și procesarea fluxului distribuit, în timp ce participanții parcurg prin crearea unui proiect bazat pe Samza și execuția postului. Până la sfârșitul acestui antrenament, participanții vor putea:

• Utilizați Samza pentru a simplifica codul necesar pentru a produce și consuma mesaje.
• Decuplați gestionarea mesajelor dintr-o aplicație.
• Utilizați Samza pentru a implementa calcule asincrone aproape în timp real.
• Utilizați procesarea fluxului pentru a oferi un nivel mai mare de abstractizare asupra sistemelor de mesagerie

Public

• Dezvoltatori

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

Tigon este o sursă open source, în timp real, lowlatency, highthroughput, YARN nativ, cadru de procesare a fluxului care se află pe partea de sus a HDFS și HBase pentru persistență Aplicațiile Tigon abordează cazuri de utilizare, cum ar fi detectarea și analiza intruziunilor în rețea, analiza pieței sociale media, analiza locației și recomandările utilizatorilor în timp real Această instruire live instrucționată introduce abordarea lui Tigon de a combina procesul de procesare în timp real și lot, pe măsură ce participanții merg prin crearea unei exemple de aplicații Până la sfârșitul acestui curs, participanții vor putea: Creați aplicații puternice de procesare a fluxului pentru a gestiona volume mari de date Procesați surse de flux, cum ar fi jurnalele Twitter și Webserver Utilizați Tigon pentru conectarea rapidă, filtrarea și agregarea fluxurilor Public Dezvoltatori Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

În cadrul acestui training, instruit în direct, participanții vor învăța conceptele de bază din spatele Arhitecturii Stream MapR pe măsură ce dezvoltă o aplicație de streaming în timp real. Până la sfârșitul acestei formări, participanții vor putea construi aplicații pentru producători și consumatori pentru procesarea datelor în flux în timp real. Public

• Dezvoltatori
• Administratorii

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

Notă

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Kafka Streams este o bibliotecă din partea clientului pentru construirea de aplicații și microservicii ale căror date sunt transmise către și de la un sistem de mesagerie Kafka. În mod tradițional, Apache Kafka s-a bazat pe Apache Spark sau Apache Storm pentru a prelucra date între producătorii de mesaje și consumatori. Apelând API-ul Kafka Streams din cadrul unei aplicații, datele pot fi procesate direct în Kafka, ocolind nevoia de a trimite datele către un cluster separat pentru procesare. În cadrul acestui training, instruit în direct, participanții vor învăța cum să integreze Kafka Streams într-un set de aplicații Java care să treacă date de la și de la Apache Kafka pentru procesarea fluxului. Până la sfârșitul acestui antrenament, participanții vor putea:

• Înțelegeți caracteristicile și avantajele Kafka Streams față de alte cadre de procesare a fluxurilor
• Procesați fluxul de date direct în cadrul unui cluster Kafka
• Scrieți o aplicație sau microservice Java sau Scala care se integrează cu Kafka și Kafka Streams
• Scrieți un cod concis care transformă subiectele Kafka de intrare în subiecte Kafka de ieșire
• Construiți, împachetați și implementați aplicația

Public

• Dezvoltatori

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

notițe

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza

Stream Processing se referă la procesarea în timp real a „datelor în mișcare”, adică efectuarea de calcule pe date așa cum sunt primite. Aceste date sunt citite ca fluxuri continue din surse de date , cum ar fi evenimente de senzori, activitatea utilizatorilor site - ul, tranzacțiile financiare, glisări de card de credit, faceți clic pe fluxuri etc. Stream Processing cadre sunt capabile să citească volume mari de date de intrare și de a oferi perspective valoroase aproape instantaneu. În cadrul acestui training, instruit în direct (la fața locului sau la distanță), participanții vor învăța cum să configureze și să integreze diferite cadre de Stream Processing fluxurilor cu sistemele de stocare de date mari existente și aplicațiile software și microserviciile aferente. Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați diferite cadre de Stream Processing fluxurilor, cum ar fi Spark Streaming și Kafka Streaming.
• Înțelegeți și selectați cadrul cel mai potrivit pentru job.
• Procesarea datelor în mod continuu, concomitent și într-o manieră record-by-record.
• Integrați soluțiile de Stream Processing fluxurilor cu bazele de date existente, depozite de date, lacuri de date etc.
• Integrați cea mai potrivită bibliotecă de procesare a fluxurilor cu aplicații de întreprindere și microservicii.

Public

• Dezvoltatori
• Arhitecți software

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

notițe

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

acest instructor-condus, Live Training (la fața locului sau la distanță) este destinat ingineri care doresc să utilizeze confluente (o distribuție de Kafka) pentru a construi și de a gestiona o platformă de prelucrare a datelor în timp real pentru aplicațiile lor. până la sfârșitul acestui training, participanții vor putea:

• instala și configura platforma confluent.
• utilizarea confluente & #39; s instrumente de gestionare și servicii pentru a rula Kafka mai ușor.
• stoca și procesul de intrare flux de date.
• optimiza și gestiona clustere Kafka.
• sigure fluxuri de date.

format al cursului

• interactive prelegere și discuții.
• o mulțime de exerciții și practică.
• hands-on punerea în aplicare într-un mediu de laborator live.

curs opțiuni de personalizare

• acest curs se bazează pe versiunea Open Source de confluente: confluent deschidere acru.
• pentru a solicita un training personalizat pentru acest curs, va rugam sa ne contactati pentru a aranja.

Apache Kafka este o platformă de procesare a fluxului cu sursă deschisă care oferă o platformă rapidă, fiabilă și cu latitudine scăzută pentru gestionarea analizelor de date în timp real. Apache Kafka poate fi integrată cu limbile de programare disponibile, cum ar fi Python. Această instruire, formare live (online sau on-site) este destinată inginerilor de date, cercetătorilor de date și programatorilor care doresc să utilizeze Apache Kafka caracteristici în transmiterea datelor cu Python. La sfârșitul acestei cursuri, participanții vor fi capabili să utilizeze Apache Kafka pentru a monitoriza și a gestiona condițiile în fluxurile de date continue folosind Python programare. Formatul cursului

Lecții și discuții interactive. Multe exerciții și practici. Implementarea pe mâini într-un mediu live-lab.

Opțiuni de personalizare

Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

This instructor-led, live training in România introduces the principles and approaches behind distributed stream and batch data processing, and walks participants through the creation of a real-time, data streaming application in Apache Flink.

Apache NiFi (Hortonworks DataFlow) este o platformă de logistică integrată în timp real a datelor și o simplă platformă de procesare a evenimentelor care permite mutarea, urmărirea și automatizarea datelor între sisteme. Este scris folosind o programare bazată pe fluxuri și oferă o interfață de utilizator bazată pe web pentru a gestiona fluxurile de date în timp real. În cadrul acestui training, instruit în direct (la fața locului sau la distanță), participanții vor învăța cum să se implementeze și să gestioneze Apache NiFi într-un mediu de laborator live. Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați Apachi NiFi.
• Sursa, transformarea și gestionarea datelor din surse de date disparate, distribuite, inclusiv baze de date și lacuri de date mari.
• Automatizarea fluxurilor de date.
• Activați analizele de streaming.
• Aplicați diverse abordări pentru ingestia de date.
• Transformați Big Data și în perspective de afaceri.

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Apache NiFi (Hortonworks DataFlow) este o platformă de logistică integrată în timp real a datelor și o simplă platformă de procesare a evenimentelor care permite mutarea, urmărirea și automatizarea datelor între sisteme. Este scris folosind o programare bazată pe fluxuri și oferă o interfață de utilizator bazată pe web pentru a gestiona fluxurile de date în timp real. În cadrul acestui training, instruit în direct, participanții vor învăța fundamentele programării bazate pe fluxuri, deoarece dezvoltă o serie de extensii demo, componente și procesoare care folosesc Apache NiFi . Până la sfârșitul acestui antrenament, participanții vor putea:

• Înțelegeți arhitectura NiFi și conceptele fluxului de date.
• Dezvoltați extensii folosind API-uri NiFi și terțe părți.
• Personalizate dezvoltă propriul procesor Apache Nifi.
• Ingerați și prelucrați datele în timp real din formate de fișiere și surse de date diferite și neobișnuite.

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Apache Storm este un motor de calcul distribuit în timp real utilizat pentru a permite inteligența de afaceri în timp real. Acest lucru se face prin a permite aplicațiilor să proceseze în mod fiabil fluxurile nedeterminate de date (de exemplu. prelucrarea fluxului). "Storm este pentru prelucrarea în timp real ceea ce Hadoop este pentru prelucrarea batch!" În această pregătire directă condusă de instructori, participanții vor învăța cum să instaleze și să configureze Apache Storm, apoi să dezvolte și să implementeze o aplicație Apache Storm pentru prelucrarea datelor mari în timp real. Unele dintre subiectele incluse în această formare includ:

Apache Storm în contextul Hadoop Lucrarea cu date nelimitată Computație continuă Analiza în timp real Procesare distribuită RPC și ETL

Cere acest curs acum! Audienţă

Software și dezvoltatori ETL Profesioniștii Mainframe Știință de date Analistii Big Data [ 0 ] Profesioniști

Formatul cursului

     Lecții parțiale, discuții parțiale, exerciții și practici grele

Apache Apex este o platformă nativă YARN care unifică procesarea fluxurilor și loturilor. Procesează date mari în mișcare într-un mod care poate fi scalabil, performant, tolerant la erori, statistic, sigur, distribuit și ușor operabil. Această instruire în direct, dirijată de instructor, introduce arhitectura de procesare a fluxurilor unificate de Apache Apex și parcurge participanții prin crearea unei aplicații distribuite folosind Apex pe Hadoop . Până la sfârșitul acestui antrenament, participanții vor putea:

• Înțelegeți conceptele conductelor de procesare a datelor, cum ar fi conectori pentru surse și chiuvete, transformări comune de date etc.
• Construiți, scalați și optimizați o aplicație Apex
• Procesați fluxuri de date în timp real în mod fiabil și cu latență minimă
• Utilizați Apex Core și biblioteca Apex Malhar pentru a permite dezvoltarea rapidă a aplicației
• Utilizați API-ul Apex pentru a scrie și reutiliza codul Java existent
• Integrați Apex în alte aplicații ca motor de procesare
• Reglarea, testarea și scalarea aplicațiilor Apex

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Apache Beam este un model de programare unificat, open source, pentru definirea și executarea conductelor paralele de procesare a datelor. Puterea sa constă în capacitatea sa de a rula conducte de loturi și de streaming, execuția fiind realizată de unul dintre back-end-urile de procesare distribuite acceptate de Beam: Apache Apex , Apache Flink , Apache Spark și Go ogle Cloud Dataflow. Apache Beam este utilă pentru sarcinile ETL (Extract, Transform și Load), cum ar fi mutarea datelor între diferite suporturi de stocare și surse de date, transformarea datelor într-un format mai dorit și încărcarea datelor într-un nou sistem. În acest training, instruit în direct (la fața locului sau la distanță), participanții vor învăța cum să implementeze SDK-urile Apache Beam într-o Java sau Python care definește o conductă de prelucrare a datelor pentru descompunerea unui set de date mari în bucăți mai mici pentru o prelucrare independentă și paralelă . Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați Apache Beam .
• Utilizați un singur model de programare pentru a efectua atât procesarea lotului, cât și fluxul, pentru a elimina Java lor Java sau Python .
• Executați conducte în mai multe medii.

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

Notă

• Acest curs va fi disponibil Scala în viitor. Vă rugăm să ne contactați pentru a vă aranja.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability. In this instructor-led, live training, participants will learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project. By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

This instructor-led, live training in România (online or onsite) is aimed at developers who wish to implement Apache Kafka stream processing without writing code. By the end of this training, participants will be able to:

• Install and configure Confluent KSQL.
• Set up a stream processing pipeline using only SQL commands (no Java or Python coding).
• Carry out data filtering, transformations, aggregations, joins, windowing, and sessionization entirely in SQL.
• Design and deploy interactive, continuous queries for streaming ETL and real-time analytics.

Apache Spark Streaming este un sistem de prelucrare scalabil, open source, care permite utilizatorilor să prelucreze date în timp real din surse susținute. Spark Streaming Permite prelucrarea cu toleranță la defecte a fluxurilor de date. Această formare directă (online sau on-site) este destinată inginerilor de date, cercetătorilor de date și programatorilor care doresc să utilizeze Spark Streaming caracteristici în prelucrarea și analizarea datelor în timp real. La sfârșitul acestei cursuri, participanții vor putea utiliza Spark Streaming pentru a procesa fluxurile de date live pentru utilizare în baze de date, sisteme de fișiere și dashboards live. Formatul cursului

Lecții și discuții interactive. Multe exerciții și practici. Implementarea pe mâini într-un mediu live-lab.

Opțiuni de personalizare

Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.