Cursuri Stream processing

Apache Ignite este o platformă de calcul în memorie care stă între aplicarea și stratul de date pentru a îmbunătăți viteza, scara, și disponibilitatea

în acest instructor-condus, de formare live, participanții vor învăța principiile din spatele persistente și pure în memorie de stocare în care acestea pas prin crearea unui eșantion în memorie de calcul proiect.

până la sfârșitul acestei instruiri, participanții vor putea:

- utilizare Ignite pentru în memorie, persistența pe disc, precum și o bază de date pur distribuite în memorie.
- atinge persistența fără sincronizarea datelor înapoi la o bază de date relațională.
- Utilizați Ignite pentru a efectua SQL și distribuite se alătură.
- îmbunătăți performanța prin mutarea datelor mai aproape de CPU, folosind RAM ca un spațiu de stocare.
- Spread seturi de date într-un cluster pentru a realiza scalabilitate orizontală.
- integra Ignite cu RDBMS, NoSQL, Hadoop și procesoare de învățare automată.

format al cursului

- interactive prelegere și discuții.
- o mulțime de exerciții și practică.
- hands-on punerea în aplicare într-un mediu de laborator live.

curs opțiuni de personalizare

- pentru a solicita un training personalizat pentru acest curs, va rugam sa ne contactati pentru a aranja.

Apache Apex este o platformă YARNnative care unifică procesarea fluxului și loturilor Ea procesează dateinmotion mare într-un mod care este scalabil, performant, faulttolerant, stateful, sigur, distribuit și ușor de operat Această instruire live, instruită, introduce arhitectura unificată de procesare a fluxurilor Apache Apex și participanții merg prin crearea unei aplicații distribuite, folosind Apex pe Hadoop Până la sfârșitul acestui curs, participanții vor putea: Înțelegeți conceptele conductei de prelucrare a datelor, cum ar fi conectori pentru surse și chiuvete, transformări comune de date etc Construiți, scalați și optimizați o aplicație Apex Procesați fluxurile de date în timp real și cu o latență minimă Utilizați Apex Core și biblioteca Apex Malhar pentru a permite dezvoltarea rapidă a aplicațiilor Utilizați API-ul Apex pentru a scrie și reutiliza codul Java existent Integrați Apex în alte aplicații ca motor de procesare Tuneți, testați și scalați aplicațiile Apex Public Dezvoltatori Întreprinderi arhitecți Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Apache Beam este un model de programare unificat, deschis, pentru definirea și executarea conductelor de procesare paralelă Puterea constă în capacitatea sa de a rula conducte atât în ​​lot, cât și în flux, executarea fiind executată de către unul dintre Beads pentru procesarea distribuită: Apache Apex, Apache Flink, Apache Spark și Google Cloud Dataflow Apache Beam este util pentru sarcini ETL (extragere, transformare și încărcare), cum ar fi mutarea datelor între diferite medii de stocare și surse de date, transformarea datelor într-un format mai de dorit și încărcarea datelor pe un nou sistem În cadrul acestei instruiri live (la fața locului sau la distanță), participanții vor învăța cum să implementeze SDK-urile Apache Beam într-o aplicație Java sau Python care definește o conductă de procesare a datelor pentru a descompune un set mare de date în bucăți mai mici pentru procesare paralelă independentă Până la sfârșitul acestui curs, participanții vor putea: Instalați și configurați Apache Beam Utilizați un singur model de programare pentru a efectua atât procesarea lotului, cât și a fluxului de date cu ajutorul aplicației lor Java sau Python Executați conductele în mai multe medii Public Dezvoltatori Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră Notă Acest curs va fi disponibil Scala în viitor Vă rugăm să ne contactați pentru a aranja .

acest instructor-condus, Live Training (la fața locului sau la distanță) este destinat ingineri care doresc să utilizeze confluente (o distribuție de Kafka) pentru a construi și de a gestiona o platformă de prelucrare a datelor în timp real pentru aplicațiile lor.

până la sfârșitul acestui training, participanții vor putea:

- instala și configura platforma confluent.
- utilizarea confluente & #39; s instrumente de gestionare și servicii pentru a rula Kafka mai ușor.
- stoca și procesul de intrare flux de date.
- optimiza și gestiona clustere Kafka.
- sigure fluxuri de date.

format al cursului

- interactive prelegere și discuții.
- o mulțime de exerciții și practică.
- hands-on punerea în aplicare într-un mediu de laborator live.

curs opțiuni de personalizare

- acest curs se bazează pe versiunea Open Source de confluente: confluent deschidere acru.
- pentru a solicita un training personalizat pentru acest curs, va rugam sa ne contactati pentru a aranja.

Apache flink este un cadru open-source pentru flux scalabil și procesarea datelor batch.

acest instructor-condus, în direct de formare introduce principiile și abordări în spatele distribuite flux și lot de prelucrare a datelor, și plimbări participanți prin crearea unei în timp real, de date de streaming de aplicare în Apache flink.

până la sfârșitul acestei instruiri, participanții vor putea:

- configurați un mediu pentru dezvoltarea aplicațiilor de analiză a datelor.
- Package, executa, și monitoriza bazate pe flink, toleranța la erori, date de streaming aplicații.
- Gestionați diverse sarcini de lucru.
- efectuați analize avansate folosind flink ML.
- configurați un cluster flink multi-nod.
- measure și a optimiza performance.
- integrați flink cu diferite sisteme Big data.
- Comparați capacitățile flink cu cele ale altor cadre mari de procesare a datelor.

format al cursului

- part prelegere, parte de discuții, exerciții și grele hands-on practică

Procesarea fluxurilor se referă la prelucrarea în timp real a "datelor în mișcare", adică efectuarea de calcule pe date în timp ce acestea sunt primite Aceste date sunt citite ca fluxuri continue din surse de date, cum ar fi evenimentele senzorilor, activitatea utilizatorilor de site-uri, tranzacțiile financiare, swipes-ul cărților de credit, fluxurile de clicuri etc Cadrele de procesare Stream sunt capabile să citească volume mari de date primite și să furnizeze informații aproape instantanee În acest training instruit (la fața locului sau la distanță), participanții vor învăța cum să configureze și să integreze diferite cadre de procesare Stream cu sistemele mari de stocare a datelor existente și aplicațiile software și microservicii aferente Până la sfârșitul acestui curs, participanții vor putea: Instalați și configurați diferite cadre de procesare Stream, cum ar fi Spark Streaming și Kafka Streaming Înțelegeți și selectați cel mai potrivit cadru pentru lucrare Procesul de date continuu, simultan și într-o manieră de înregistrare a înregistrărilor Integrați soluțiile de procesare Stream cu bazele de date existente, depozitele de date, lacurile de date etc Integrarea celei mai potrivite biblioteci de procesare a fluxurilor cu aplicații și microservicii pentru întreprinderi Public Dezvoltatori Arhitecți de software Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră notițe Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja .

Kafka Streams este o bibliotecă client pentru a construi aplicații și microservicii ale căror date sunt transmise către și de la un sistem de mesagerie Kafka În mod tradițional, Apache Kafka sa bazat pe Apache Spark sau Apache Storm pentru a procesa date între producătorii de mesaje și consumatori Apelând API-ul Kafka Streams din cadrul unei aplicații, datele pot fi procesate direct în Kafka, ocolind nevoia de a trimite datele către un cluster separat pentru procesare În acest training instruit, participanții vor învăța cum să integreze fluxurile Kafka într-un set de exemple de aplicații Java care transmit date către și de la Apache Kafka pentru procesarea fluxurilor Până la sfârșitul acestui curs, participanții vor putea: Înțelegeți caracteristicile și avantajele Kafka Streams față de alte cadre de procesare a fluxurilor Procesați datele de flux direct în cadrul unui grup Kafka Scrieți o aplicație Java sau Scala sau un microservice care se integrează cu fluxurile Kafka și Kafka Scrieți un cod concis care transformă subiectele Kafka de intrare în subiecte Kafka de ieșire Construiți, pachetați și implementați aplicația Public Dezvoltatori Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră notițe Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja .

În această instruire instruită, participanții vor învăța conceptele de bază din spatele Architecturii MapR Stream în timp ce dezvoltă o aplicație de streaming în timp real Până la sfârșitul acestui curs, participanții vor putea să construiască aplicații pentru producători și consumatori pentru procesarea datelor în flux în timp real Public Dezvoltatori Administratorii Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră Notă Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja .

Apache NiFi (Hortonworks DataFlow) este o logistică integrată a datelor integrate în timp real și o platformă de procesare simplă a evenimentelor, care permite mișcarea, urmărirea și automatizarea datelor între sisteme Acesta este scris folosind programarea în flux și oferă o interfață de utilizator bazată pe web pentru a gestiona fluxurile de date în timp real În acest training instruit, participanții vor învăța cum să implementeze și să gestioneze Apache NiFi într-un mediu de laborator live Până la sfârșitul acestui curs, participanții vor putea: Instalați și configurați Apachi NiFi Sursă, transformă și gestionează datele din surse de date disparate, distribuite, inclusiv baze de date și lacuri de date mari Automatiza fluxurile de date Activați analizele de streaming Aplicați diverse abordări pentru ingerarea datelor Transformați datele mari și aflați-le în detaliu Public Administratorii de sistem Ingineri de date Dezvoltatori DevOps Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Apache NiFi (Hortonworks DataFlow) este o logistică de date integrată în timp real și o platformă simplă de procesare a evenimentelor, care permite mutarea, urmărirea și automatizarea datelor între sisteme. Acesta este scris folosind flux pe bază de programare și oferă o interfață web-based de utilizator pentru a gestiona fluxuri în timp real.

în acest instructor-condus, Live training, participanții vor învăța fundamentele de flux pe bază de programare, deoarece acestea dezvolta o serie de extensii demo, componente și procesoare folosind Apache NiFi.

până la sfârșitul acestei instruiri, participanții vor putea:

- intelege arhitectura NiFi & #39; s si concepte Dataflow.
- dezvoltă extensii folosind NiFi și API-uri terțe.
- Custom dezvolta propriul lor Apache nifi procesor.
- ingest și procesul de date în timp real de la disparate și mai puțin frecvente formate de fișiere și surse de date.

format al cursului

- interactive prelegere și discuții.
- o mulțime de exerciții și practică.
- hands-on punerea în aplicare într-un mediu de laborator live.

curs opțiuni de personalizare

- pentru a solicita un training personalizat pentru acest curs, va rugam sa ne contactati pentru a aranja.

Apache Samza este o rețea opensource nearrealtime, un cadru de calcul asincron pentru procesarea fluxului Utilizează Apache Kafka pentru mesagerie și Apache Hadoop YARN pentru toleranța la erori, izolarea procesoarelor, securitatea și gestionarea resurselor Instruirea live instructorată introduce principiile din spatele sistemelor de mesagerie și de procesare distribuită a fluxurilor, în timp ce participanții la cursă se deplasează prin crearea unui proiect Samzabased și executarea unui loc de muncă Până la sfârșitul acestui curs, participanții vor putea: Utilizați Samza pentru a simplifica codul necesar pentru a produce și a consuma mesaje Decuplați manipularea mesajelor dintr-o aplicație Utilizați Samza pentru a implementa calculul asincron nearrealtime Utilizați procesarea fluxului pentru a oferi un nivel mai ridicat de abstractizare peste sistemele de mesagerie Public Dezvoltatori Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Apache Storm este un motor de calcul distribuit, în timp real, folosit pentru a permite informații de afaceri în timp real Ea face acest lucru, permițând aplicațiilor să proceseze în mod fiabil fluxurile de date neîngrădite (procesarea aka stream) "Storm este pentru prelucrarea în timp real a ceea ce Hadoop este pentru procesarea în șarje!" În acest training live instructor, participanții vor învăța cum să instaleze și să configureze Apache Storm, apoi să dezvolte și să implementeze o aplicație Apache Storm pentru procesarea datelor mari în timp real Unele dintre subiectele incluse în acest training includ: Apache Storm în contextul lui Hadoop Lucrul cu date nelimitate Calcul continuu Analiza în timp real Procesare RPC distribuită și ETL Cereți acest curs acum! Public Software și dezvoltatori ETL Echipamente profesionale pentru mainframe Cercetătorii de date Analiști mari de date Specialiștii Hadoop Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .

Tigon este o sursă open source, în timp real, lowlatency, highthroughput, YARN nativ, cadru de procesare a fluxului care se află pe partea de sus a HDFS și HBase pentru persistență Aplicațiile Tigon abordează cazuri de utilizare, cum ar fi detectarea și analiza intruziunilor în rețea, analiza pieței sociale media, analiza locației și recomandările utilizatorilor în timp real Această instruire live instrucționată introduce abordarea lui Tigon de a combina procesul de procesare în timp real și lot, pe măsură ce participanții merg prin crearea unei exemple de aplicații Până la sfârșitul acestui curs, participanții vor putea: Creați aplicații puternice de procesare a fluxului pentru a gestiona volume mari de date Procesați surse de flux, cum ar fi jurnalele Twitter și Webserver Utilizați Tigon pentru conectarea rapidă, filtrarea și agregarea fluxurilor Public Dezvoltatori Formatul cursului Prelegere parte, discuții parțiale, exerciții și practici grele de manevră .