Cursuri de pregatire O Introducere Practică la Procesarea Fluxului de Date
Stream Processing se referă la procesarea în timp real a „datelor în mișcare”, adică efectuarea de calculuri asupra datelor pe măsură ce acestea sunt primite. Astfel de date sunt citite ca fluxuri continue din surse de date precum evenimentele senzorilor, activitatea utilizatorilor site-urilor web, tranzacțiile financiare, plasările cardurilor de credit, fluxurile de click-uri etc. Framework-urile de Stream Processing sunt capabile să citească volume mari de date aflate în mișcare și să ofere informații valoroase aproape instantaneu.
În acest antrenament live condus de instrucționist (onsite sau remote), participanții vor învăța cum să seteze și să integreze diferite framework-uri de Stream Processing cu sistemele de stocare a datelor big data existente și cu aplicațiile și microserviciile software asociate.
La finalul acestui antrenament, participanții vor putea:
- Să instaleze și să configureze diferite framework-uri de Stream Processing, cum ar fi Spark Streaming și Kafka Streaming.
- Să înțeleagă și să selecteze cel mai potrivit framework pentru sarcină.
- Să proceseze datele continuu, concurent și pe baza fiecărui înregistrare.
- Să integreze soluțiile de Stream Processing cu bazele de date existente, depozitele de date (data warehouses), lacurile de date (data lakes) etc.
- Să integreze biblioteca de stream processing cea mai potrivită cu aplicațiile și microserviciile enterprise.
Audiență
- Dezvoltatori
- Arhitecți de software
Formatul Cursului
- Parțial prezentare, parțial discuție, exerciții și practică intensivă
Note
- Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Schița de curs
Introducere
- Procesarea fluxului vs procesarea în loturi
- Procesarea fluxului orientată pe analitică
Prezentare a Cadrelor de Lucru și Limbe de Programare
- Spark Streaming (Scala)
- Kafka Streaming (Java)
- Flink
- Storm
- Compararea Caracteristicilor și Avantajelor Fiecărei Cadre de Lucru
Prezentare a Surselor de Date
- Date în direct ca serie de evenimente în timp
- Surse de date istorice
Opțiuni de Implementare
- În cloud (AWS, etc.)
- Pe premise (cloud privat, etc.)
Pornirea Lucrului
- Configurarea Mediului de Dezvoltare
- Instalarea și configurarea
- Evaluarea Necesităților de Analiză a Datelor
Operarea unei Cadre de Lucru pentru Procesarea Fluxului
- Integrarea Cadrei de Lucru pentru Procesarea Fluxului cu Unelțile Big Data
- Procesarea Fluxului de Evenimente (ESP) vs Procesarea Complexă a Evenimentelor (CEP)
- Transformarea Datelor de Intrare
- Verificarea Datelor de Ieșire
- Integrarea Cadrei de Lucru pentru Procesarea Fluxului cu Aplicațiile și Microserviciile Existente
Soluționarea Problemelor
Scurtăreză și Concluzie
Cerințe
- Experiență în programare în orice limbaj
- O înțelegere a conceptelor Big Data (Hadoop, etc.)
Cursurile publice necesita 5+ participanti
Cursuri de pregatire O Introducere Practică la Procesarea Fluxului de Date - Rezervare
Cursuri de pregatire O Introducere Practică la Procesarea Fluxului de Date - Solicitare
O Introducere Practică la Procesarea Fluxului de Date - Cerere de consultanta
Cerere de consultanta
Mărturii (1)
Suficientă practică, formatorul este cunoscutor
Chris Tan
Curs - A Practical Introduction to Stream Processing
Tradus de catre o masina
Cursuri viitoare
Cursuri înrudite
Apache Kafka Connect
7 oreAceastă instruire guidată de instructor, live, în România (online sau pe loc) este adresată dezvoltatorilor care doresc să integreze Apache Kafka cu bazele de date și aplicațiile existente pentru procesare, analiză, etc.
La sfârșitul acestei instruirii, participanții vor putea:
- Utiliza Kafka Connect pentru a introduce mări de date dintr-o bază de date în topic-uri Kafka.
- Introduce datele jurnalizate generate de serverele aplicațiilor în topic-uri Kafka.
- Să facă disponibile orice date colectate pentru procesarea fluxului.
- Exporta date din topic-urile Kafka în sisteme secundare pentru stocare și analiză.
Construire Soluții Kafka cu Confluent
14 oreAcest curs condus de instrucțor (online sau în locație) este destinat inginerilor care doresc să folosească Confluent (o distribuție a Kafka) pentru a construi și gestiona o platformă de procesare a datelor în timp real pentru aplicațiile lor.
La finalul acestui curs, participanții vor putea:
- Instala și configura Platforma Confluent.
- Folosi instrumentele și serviciile de gestionare ale Confluent pentru a rula Kafka mai ușor.
- Păstra și procesa datele de flux întrarea.
- Optimizași gestioneze clusterele Kafka.
- Sigura fluxurile de date.
Formatul Cursului
- Predare interactivă și discuție.
- Multe exerciții și practică.
- Implementare hands-on într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Acest curs se bazează pe versiunea open source a Confluent: Confluent Open Source.
- Pentru a solicita un curs personalizat, vă rugăm să ne contactați pentru a aranja detaliile.
Crearea de Pipeline-uri de Date cu Apache Kafka
7 oreApache Kafka este o platformă distribuită de fluxe de date. De fapt, este un standard pentru construirea pipeline-urilor de date și rezolvă multe utilizări diferite în jurul procesării datelor: poate fi folosit ca coadă de mesaje, jurnal distribuit, procesor de fluxuri, etc.
Începem cu teoria din spatele pipeline-urilor de date în general, apoi continuăm cu conceptele fundamentale ale Kafka. Vom descoperi și componente importante precum Kafka Streams și Kafka Connect.
Distributed Messaging with Apache Kafka
14 oreAcest curs este pentru arhitecții de enterprise, dezvoltatori, administratorii de sisteme și oricine care dorește să înțeleagă și să folosească un sistem de mesajere distribuit cu flux mare. Dacă aveți cerințe mai specifice (de exemplu, doar partea de administrare a sistemului), acest curs poate fi adaptat pentru a răspunde mai bine nevoilor dumneavoastră.
Kafka pentru Administratori
21 oreAceastă instruire live, condusă de un instructor în România (online sau la fața locului) se adresează administratorilor de sistem care doresc să configureze, să implementeze, să gestioneze și să optimizeze un cluster Kafka de nivel enterprise.
La sfârșitul acestui curs de formare, participanții vor fi capabili să:
- Configurați și administrați un cluster Kafka.
- Evaluați beneficiile și dezavantajele implementării Kafka on-premise vs în cloud. .
- Dezvoltați și monitorizați Kafka în folosind diverse instrumente de mediu on-premise și cloud. .
Apache Kafka pentru Dezvoltatori
21 oreAceastă instruire condusă de instructor (online sau pe loc) se adresează dezvoltatorilor la nivel intermediar care doresc să dezvolte aplicații cu date mari folosind Apache Kafka.
La sfârșitul acestei instruirile, participanții vor putea:
- Dezvolta producători și consumatori Kafka pentru a trimite și a citi date din Kafka.
- Integreze Kafka cu sisteme externe folosind Kafka Connect.
- Scrie aplicații de fluxare cu Kafka Streams & ksqlDB.
- Integreze o aplicație client Kafka cu Confluent Cloud pentru implementări Kafka bazate pe cloud.
- Câștiga experiență practică prin exerciții practice și cazuri de utilizare din lumea reală.
Apache Kafka pentru Progrămatori Python
7 oreAceastă instruire live, cu instructor în România (online sau la fața locului) se adresează inginerilor de date, cercetătorilor de date și programatorilor care doresc să utilizeze caracteristicile Apache Kafka în fluxul de date cu Python.
Până la sfârșitul acestei formări, participanții vor fi capabili să utilizeze Apache Kafka pentru a monitoriza și gestiona condițiile în fluxurile continue de date utilizând programarea Python.
Securitatea pentru Apache Kafka
7 oreAcest curs condus de instructor, live training în România (online sau on-site) este destinat testatorilor de software care doresc să implementeze măsuri de securitate a rețelei într-o aplicație Apache Kafka.
La finalul acestui curs, participanții vor putea:
- Așezarea Apache Kafka pe un server bazat pe cloud.
- Implementarea criptării SSL pentru a preveni atacurile.
- Adăugarea autentificării ACL pentru a urmări și controla accesul utilizatorilor.
- Asigurarea că clienții credibili au acces la cluster-urile Kafka cu autentificare SSL și SASL.
Apache Kafka și Spring Boot
7 oreAcest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează dezvoltatorilor de nivel intermediar care doresc să învețe elementele de bază ale Kafka și să le integreze cu Spring Boot.
La sfârșitul acestui curs de formare, participanții vor fi capabili să:
- Înțelegeți Kafka și arhitectura sa.
- Să învețe cum să instaleze, să configureze și să seteze un mediu Kafka de bază.
- Integrați Kafka cu Spring Boot.
Stream Processing cu Kafka Streams
7 oreKafka Streams este o bibliotecă lățilaterală pentru construirea aplicațiilor și microserviciilor a căror date sunt transmise către și de la un sistem de mesagerie Kafka. Tradițional, Apache Kafka s-a bazat pe Apache Spark sau Apache Storm pentru procesarea datelor între producătorii și consumatorii de mesaje. Prin apelarea API-ului Kafka Streams din interiorul unei aplicații, datele pot fi procesate direct în Kafka, evitând nevoia de a transmite datele către un cluster separat pentru procesare.
În această instruire condusă de instructor și live, participanții vor învăța cum să integreze Kafka Streams într-o serie de aplicații Java de exemplu care transmit date către și de la Apache Kafka pentru procesarea fluxurilor.
La finalul acestei instruirii, participanții vor putea:
- Înțelege caracteristicile și avantajele Kafka Streams față de alte cadre de procesare a fluxurilor
- Procesarea datelor din flux direct într-un cluster Kafka
- Scrierea unei aplicații sau microservicii Java sau Scala care se integrează cu Kafka și Kafka Streams
- Scrierea unui cod concis care transformă subiectele de intrare Kafka în subiecte de ieșire Kafka
- Construirea, ambalarea și implementarea aplicației
Audiență
- Dezvoltatori
Formatul cursului
- O parte prelegeri, o parte discuții, exerciții și practică intensivă
Note
- Pentru a solicita un curs de instruire personalizat pentru acest curs, vă rugăm să ne contactați pentru a face aranjamente
Administration of Kafka Topic
14 oreAcest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează administratorilor de sistem de nivel începător sau intermediar care doresc să învețe cum să gestioneze eficient subiectele Kafka pentru un flux și o procesare eficientă a datelor.
La finalul acestui curs de formare, participanții vor fi capabili să:
- Să înțeleagă fundamentele și arhitectura subiectelor Kafka.
- Să creeze, să configureze și să gestioneze subiecte Kafka.
- Să monitorizeze subiectele Kafka pentru sănătate, performanță și disponibilitate.
- Să implementeze măsuri de securitate pentru subiectele Kafka.
SMACK Stack pentru Cercetarea Datelor
14 oreAceastă instruire condusă de un instructor, în direct (online sau prezent) se adresează științistilor de date care doresc să folosească stiva SMACK pentru a construi platforme de procesare a datelor pentru soluții cu date la scară largă.
La finalul acestei instruirile, participanții vor putea:
- Implementa o arhitectură de pipeline de date pentru procesarea datelor la scară largă.
- Dezvolta infrastructura unui cluster cu Apache Mesos și Docker.
- Analiza datele cu Spark și Scala.
- Gestioneaza datele nestructurate cu Apache Cassandra.
Python și Spark pentru Date Mari (PySpark)
21 oreÎn cadrul acestui curs de formare live, condus de un instructor în România, participanții vor învăța cum să utilizeze Python și Spark împreună pentru a analiza date mari, pe măsură ce lucrează la exerciții practice.
Până la sfârșitul acestui training, participanții vor fi capabili să:
- Să învețe cum să utilizeze Spark cu Python pentru a analiza Big Data.
- Să lucreze la exerciții care imită cazuri din lumea reală.
- Să utilizeze diferite instrumente și tehnici pentru analiza datelor mari utilizând PySpark.
Microservicii cu Spring Cloud și Kafka
21 oreAcest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează dezvoltatorilor care doresc să transforme arhitectura tradițională într-o arhitectură bazată pe microservicii foarte concurente folosind Spring Cloud, Kafka, Docker, Kubernetes și Redis.
La sfârșitul acestui curs de formare, participanții vor fi capabili să:
- Setați mediul de dezvoltare necesar pentru construirea microserviciilor. .
- Proiectați și implementați un ecosistem de microservicii foarte concurent folosind Spring Cloud, Kafka, Redis, Docker și Kubernetes. .
- Transformați serviciile monolitice și SOA în arhitectură bazată pe microservicii. .
- Adoptați o abordare DevOps pentru dezvoltarea, testarea și eliberarea de software. .
- Asigurați o concurență ridicată între microservicii în producție. .
- Monitorizați microserviciile și implementați strategii de recuperare. .
- Realizați reglarea performanței. .
- Învățați despre tendințele viitoare în arhitectura microserviciilor. .
Stratio: Modulele Rocket și Intelligence cu PySpark
14 oreStratio este o platformă centrată pe date care integrează big data, inteligența artificială și guvernanța într-o singură soluție. Modulele Rocket și Intelligence permit explorarea rapidă a datelor, transformarea și analize avansate în mediul enterprise.
Această formare condușă de instrucțoare (online sau pe locație) este destinată profesionalilor intermediari care doresc să utilizeze eficient modulele Rocket și Intelligence din Stratio cu PySpark, concentrându-se pe structuri de buclă, funcții definite de utilizator și logică de date avansată.
La finalul acestei forme de instruire, participanții vor putea:
- Navigați și lucrați în platforma Stratio folosind modulele Rocket și Intelligence.
- Aplicați PySpark în contextul ingestionării, transformării și analizei datelor.
- Utilizați bucle și logica condițională pentru a controla fluxurile de date și sarcinile de inginerie a caracteristicilor.
- Creați și gestionați funcții definite de utilizator (UDFs) pentru operațiuni reutilizabile cu date în PySpark.
Format al cursului
- Lectură interactivă și discuție.
- Multe exerciții și practică.
- Implementare directă într-un mediu de laborator live.
Opțiuni de personalizare a cursului
- Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.