Cursuri Stream processing

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability。

In this instructor-led, live training, participants will learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

- Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
- Achieve persistence without syncing data back to a relational database.
- Use Ignite to carry out SQL and distributed joins.
- Improve performance by moving data closer to the CPU, using RAM as a storage.
- Spread data sets across a cluster to achieve horizontal scalability.
- Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

Apache Apex este o platformă YARNnative care unifică procesarea fluxului și loturilor Ea procesează dateinmotion mare într-un mod care este scalabil, performant, faulttolerant, stateful, sigur, distribuit și ușor de operat Această instruire live, instruită, introduce arhitectura unificată de procesare a fluxurilor Apache Apex și participanții merg prin crearea unei aplicații distribuite, folosind Apex pe Hadoop Până la sfârșitul acestui curs, participanții vor putea: Înțelegeți conceptele conductei de prelucrare a datelor, cum ar fi conectori pentru surse și chiuvete, transformări comune de date etc Construiți, scalați și optimizați o aplicație Apex Procesați fluxurile de date în timp real și cu o latență minimă Utilizați Apex Core și biblioteca Apex Malhar pentru a permite dezvoltarea rapidă a aplicațiilor Utilizați API-ul Apex pentru a scrie și reutiliza codul Java existent Integrați Apex în alte aplicații ca motor de procesare Tuneți, testați și scalați aplicațiile Apex Public Dezvoltatori Întreprinderi arhitecți Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Apache Beam este un model de programare unificat, deschis, pentru definirea și executarea conductelor de procesare paralelă Puterea constă în capacitatea sa de a rula conducte atât în ​​lot, cât și în flux, executarea fiind executată de către unul dintre Beads pentru procesarea distribuită: Apache Apex, Apache Flink, Apache Spark și Google Cloud Dataflow Apache Beam este util pentru sarcini ETL (extragere, transformare și încărcare), cum ar fi mutarea datelor între diferite medii de stocare și surse de date, transformarea datelor într-un format mai de dorit și încărcarea datelor pe un nou sistem În cadrul acestei instruiri live (la fața locului sau la distanță), participanții vor învăța cum să implementeze SDK-urile Apache Beam într-o aplicație Java sau Python care definește o conductă de procesare a datelor pentru a descompune un set mare de date în bucăți mai mici pentru procesare paralelă independentă Până la sfârșitul acestui curs, participanții vor putea: Instalați și configurați Apache Beam Utilizați un singur model de programare pentru a efectua atât procesarea lotului, cât și a fluxului de date cu ajutorul aplicației lor Java sau Python Executați conductele în mai multe medii Public Dezvoltatori Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră Notă Acest curs va fi disponibil Scala în viitor Vă rugăm să ne contactați pentru a aranja .

acest instructor-condus, Live Training (la fața locului sau la distanță) este destinat ingineri care doresc să utilizeze confluente (o distribuție de Kafka) pentru a construi și de a gestiona o platformă de prelucrare a datelor în timp real pentru aplicațiile lor.

până la sfârșitul acestui training, participanții vor putea:

- instala și configura platforma confluent.
- utilizarea confluente & #39; s instrumente de gestionare și servicii pentru a rula Kafka mai ușor.
- stoca și procesul de intrare flux de date.
- optimiza și gestiona clustere Kafka.
- sigure fluxuri de date.

format al cursului

- interactive prelegere și discuții.
- o mulțime de exerciții și practică.
- hands-on punerea în aplicare într-un mediu de laborator live.

curs opțiuni de personalizare

- acest curs se bazează pe versiunea Open Source de confluente: confluent deschidere acru.
- pentru a solicita un training personalizat pentru acest curs, va rugam sa ne contactati pentru a aranja.

Apache Flink este un framework open source pentru procesarea scalabilă a fluxurilor și a datelor lotului Această instruire live instrucționată introduce principiile și abordările din spatele procesării fluxului distribuit și al procesării datelor în lot și participanții merg prin crearea unei aplicații de streaming de date în timp real Până la sfârșitul acestui curs, participanții vor putea: Creați un mediu pentru dezvoltarea aplicațiilor de analiză a datelor Pachete, execută și monitorizează aplicații de streaming bazate pe Flink, faulttolerant, de date Gestionați diverse sarcini de lucru Efectuați analize avansate utilizând Flink ML Creați un cluster Flink multinod Măsurați și optimizați performanța Integrați Flink cu diferite sisteme de date mari Comparați capabilitățile Flink cu cele ale altor cadre mari de procesare a datelor Public Dezvoltatori Arhitecti Ingineri de date Profesioniștii din Analytics Directori tehnici Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Procesarea fluxurilor se referă la prelucrarea în timp real a "datelor în mișcare", adică efectuarea de calcule pe date în timp ce acestea sunt primite Aceste date sunt citite ca fluxuri continue din surse de date, cum ar fi evenimentele senzorilor, activitatea utilizatorilor de site-uri, tranzacțiile financiare, swipes-ul cărților de credit, fluxurile de clicuri etc Cadrele de procesare Stream sunt capabile să citească volume mari de date primite și să furnizeze informații aproape instantanee În acest training instruit (la fața locului sau la distanță), participanții vor învăța cum să configureze și să integreze diferite cadre de procesare Stream cu sistemele mari de stocare a datelor existente și aplicațiile software și microservicii aferente Până la sfârșitul acestui curs, participanții vor putea: Instalați și configurați diferite cadre de procesare Stream, cum ar fi Spark Streaming și Kafka Streaming Înțelegeți și selectați cel mai potrivit cadru pentru lucrare Procesul de date continuu, simultan și într-o manieră de înregistrare a înregistrărilor Integrați soluțiile de procesare Stream cu bazele de date existente, depozitele de date, lacurile de date etc Integrarea celei mai potrivite biblioteci de procesare a fluxurilor cu aplicații și microservicii pentru întreprinderi Public Dezvoltatori Arhitecți de software Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră notițe Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja .

Kafka Streams este o bibliotecă client pentru a construi aplicații și microservicii ale căror date sunt transmise către și de la un sistem de mesagerie Kafka În mod tradițional, Apache Kafka sa bazat pe Apache Spark sau Apache Storm pentru a procesa date între producătorii de mesaje și consumatori Apelând API-ul Kafka Streams din cadrul unei aplicații, datele pot fi procesate direct în Kafka, ocolind nevoia de a trimite datele către un cluster separat pentru procesare În acest training instruit, participanții vor învăța cum să integreze fluxurile Kafka într-un set de exemple de aplicații Java care transmit date către și de la Apache Kafka pentru procesarea fluxurilor Până la sfârșitul acestui curs, participanții vor putea: Înțelegeți caracteristicile și avantajele Kafka Streams față de alte cadre de procesare a fluxurilor Procesați datele de flux direct în cadrul unui grup Kafka Scrieți o aplicație Java sau Scala sau un microservice care se integrează cu fluxurile Kafka și Kafka Scrieți un cod concis care transformă subiectele Kafka de intrare în subiecte Kafka de ieșire Construiți, pachetați și implementați aplicația Public Dezvoltatori Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră notițe Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja .

În această instruire instruită, participanții vor învăța conceptele de bază din spatele Architecturii MapR Stream în timp ce dezvoltă o aplicație de streaming în timp real Până la sfârșitul acestui curs, participanții vor putea să construiască aplicații pentru producători și consumatori pentru procesarea datelor în flux în timp real Public Dezvoltatori Administratorii Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră Notă Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja .

Apache NiFi (Hortonworks DataFlow) este o logistică integrată a datelor integrate în timp real și o platformă de procesare simplă a evenimentelor, care permite mișcarea, urmărirea și automatizarea datelor între sisteme Acesta este scris folosind programarea în flux și oferă o interfață de utilizator bazată pe web pentru a gestiona fluxurile de date în timp real În acest training instruit, participanții vor învăța cum să implementeze și să gestioneze Apache NiFi într-un mediu de laborator live Până la sfârșitul acestui curs, participanții vor putea: Instalați și configurați Apachi NiFi Sursă, transformă și gestionează datele din surse de date disparate, distribuite, inclusiv baze de date și lacuri de date mari Automatiza fluxurile de date Activați analizele de streaming Aplicați diverse abordări pentru ingerarea datelor Transformați datele mari și aflați-le în detaliu Public Administratorii de sistem Ingineri de date Dezvoltatori DevOps Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Apache NiFi (Hortonworks DataFlow) este o logistică integrată a datelor integrate în timp real și o platformă de procesare simplă a evenimentelor, care permite mișcarea, urmărirea și automatizarea datelor între sisteme Acesta este scris folosind programarea în flux și oferă o interfață de utilizator bazată pe web pentru a gestiona fluxurile de date în timp real În acest training instruit, participanții vor învăța fundamentele programării bazate pe flux, pe măsură ce dezvoltă o serie de extensii demo, componente și procesoare care utilizează Apache NiFi Până la sfârșitul acestui curs, participanții vor putea: Înțelege conceptele de arhitectură și fluxuri de date ale NiFi Dezvoltați extensii utilizând API-uri NiFi și API de la terți Custom dezvolta propriul procesor Apache Nifi Ingerați și procesați date în timp real din formate de fișiere și surse de date, disparate și mai puțin frecvente Public Dezvoltatori Ingineri de date Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Apache Samza este o rețea opensource nearrealtime, un cadru de calcul asincron pentru procesarea fluxului Utilizează Apache Kafka pentru mesagerie și Apache Hadoop YARN pentru toleranța la erori, izolarea procesoarelor, securitatea și gestionarea resurselor Instruirea live instructorată introduce principiile din spatele sistemelor de mesagerie și de procesare distribuită a fluxurilor, în timp ce participanții la cursă se deplasează prin crearea unui proiect Samzabased și executarea unui loc de muncă Până la sfârșitul acestui curs, participanții vor putea: Utilizați Samza pentru a simplifica codul necesar pentru a produce și a consuma mesaje Decuplați manipularea mesajelor dintr-o aplicație Utilizați Samza pentru a implementa calculul asincron nearrealtime Utilizați procesarea fluxului pentru a oferi un nivel mai ridicat de abstractizare peste sistemele de mesagerie Public Dezvoltatori Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Apache Storm este un motor de calcul distribuit, în timp real, folosit pentru a permite informații de afaceri în timp real Ea face acest lucru, permițând aplicațiilor să proceseze în mod fiabil fluxurile de date neîngrădite (procesarea aka stream) "Storm este pentru prelucrarea în timp real a ceea ce Hadoop este pentru procesarea în șarje!" În acest training live instructor, participanții vor învăța cum să instaleze și să configureze Apache Storm, apoi să dezvolte și să implementeze o aplicație Apache Storm pentru procesarea datelor mari în timp real Unele dintre subiectele incluse în acest training includ: Apache Storm în contextul lui Hadoop Lucrul cu date nelimitate Calcul continuu Analiza în timp real Procesare RPC distribuită și ETL Cereți acest curs acum! Public Software și dezvoltatori ETL Echipamente profesionale pentru mainframe Cercetătorii de date Analiști mari de date Specialiștii Hadoop Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Tigon este o sursă open source, în timp real, lowlatency, highthroughput, YARN nativ, cadru de procesare a fluxului care se află pe partea de sus a HDFS și HBase pentru persistență Aplicațiile Tigon abordează cazuri de utilizare, cum ar fi detectarea și analiza intruziunilor în rețea, analiza pieței sociale media, analiza locației și recomandările utilizatorilor în timp real Această instruire live instrucționată introduce abordarea lui Tigon de a combina procesul de procesare în timp real și lot, pe măsură ce participanții merg prin crearea unei exemple de aplicații Până la sfârșitul acestui curs, participanții vor putea: Creați aplicații puternice de procesare a fluxului pentru a gestiona volume mari de date Procesați surse de flux, cum ar fi jurnalele Twitter și Webserver Utilizați Tigon pentru conectarea rapidă, filtrarea și agregarea fluxurilor Public Dezvoltatori Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .