Cursuri de pregatire Stream Processing cu Kafka Streams
Kafka Streams este o bibliotecă lățilaterală pentru construirea aplicațiilor și microserviciilor a căror date sunt transmise către și de la un sistem de mesagerie Kafka. Tradițional, Apache Kafka s-a bazat pe Apache Spark sau Apache Storm pentru procesarea datelor între producătorii și consumatorii de mesaje. Prin apelarea API-ului Kafka Streams din interiorul unei aplicații, datele pot fi procesate direct în Kafka, evitând nevoia de a transmite datele către un cluster separat pentru procesare.
În această instruire condusă de instructor și live, participanții vor învăța cum să integreze Kafka Streams într-o serie de aplicații Java de exemplu care transmit date către și de la Apache Kafka pentru procesarea fluxurilor.
La finalul acestei instruirii, participanții vor putea:
- Înțelege caracteristicile și avantajele Kafka Streams față de alte cadre de procesare a fluxurilor
- Procesarea datelor din flux direct într-un cluster Kafka
- Scrierea unei aplicații sau microservicii Java sau Scala care se integrează cu Kafka și Kafka Streams
- Scrierea unui cod concis care transformă subiectele de intrare Kafka în subiecte de ieșire Kafka
- Construirea, ambalarea și implementarea aplicației
Audiență
- Dezvoltatori
Formatul cursului
- O parte prelegeri, o parte discuții, exerciții și practică intensivă
Note
- Pentru a solicita un curs de instruire personalizat pentru acest curs, vă rugăm să ne contactați pentru a face aranjamente
Schița de curs
Introducere
- Kafka vs Spark, Flink și Storm
Prezentare a caracteristicilor Kafka Streams
- Procesarea cu stare și fără stare, procesarea bazată pe timpul evenimentului, DSL, operații de grupare bazate pe timpul evenimentului, etc.
Studiu de caz: API Kafka Streams pentru bugetarea predictivă
Configurarea mediului de dezvoltare
Crearea unei aplicații Streams
Pornirea clusterului Kafka
Prepararea topic-urilor și a datelor de intrare
Opțiuni pentru procesarea datelor din flux
- DSL la nivel înalt Kafka Streams
- Procesor la nivel scăzut
Transformarea datelor de intrare
Verificarea datelor de ieșire
Oprezirea clusterului Kafka
Opțiuni pentru implementarea aplicației
- Unelte clasice de operare (Puppet, Chef și Salt)
- Docker
- Fisier WAR
Depanare
Synthesă și concluzii
Cerințe
- O înțelegere a Apache Kafka
- Experiență în programare Java
Cursurile publice necesita 5+ participanti
Cursuri de pregatire Stream Processing cu Kafka Streams - Rezervare
Cursuri de pregatire Stream Processing cu Kafka Streams - Solicitare
Stream Processing cu Kafka Streams - Cerere de consultanta
Cerere de consultanta
Mărturii (1)
Reamintarea/supravegherea punctelor cheie ale temelor discutate.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Curs - Building Stream Processing Applications with Kafka Streams
Tradus de catre o masina
Cursuri viitoare
Cursuri înrudite
Apache Kafka Connect
7 oreAceastă instruire guidată de instructor, live, în România (online sau pe loc) este adresată dezvoltatorilor care doresc să integreze Apache Kafka cu bazele de date și aplicațiile existente pentru procesare, analiză, etc.
La sfârșitul acestei instruirii, participanții vor putea:
- Utiliza Kafka Connect pentru a introduce mări de date dintr-o bază de date în topic-uri Kafka.
- Introduce datele jurnalizate generate de serverele aplicațiilor în topic-uri Kafka.
- Să facă disponibile orice date colectate pentru procesarea fluxului.
- Exporta date din topic-urile Kafka în sisteme secundare pentru stocare și analiză.
Construire Soluții Kafka cu Confluent
14 oreAcest curs condus de instrucțor (online sau în locație) este destinat inginerilor care doresc să folosească Confluent (o distribuție a Kafka) pentru a construi și gestiona o platformă de procesare a datelor în timp real pentru aplicațiile lor.
La finalul acestui curs, participanții vor putea:
- Instala și configura Platforma Confluent.
- Folosi instrumentele și serviciile de gestionare ale Confluent pentru a rula Kafka mai ușor.
- Păstra și procesa datele de flux întrarea.
- Optimizași gestioneze clusterele Kafka.
- Sigura fluxurile de date.
Formatul Cursului
- Predare interactivă și discuție.
- Multe exerciții și practică.
- Implementare hands-on într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Acest curs se bazează pe versiunea open source a Confluent: Confluent Open Source.
- Pentru a solicita un curs personalizat, vă rugăm să ne contactați pentru a aranja detaliile.
Crearea de Pipeline-uri de Date cu Apache Kafka
7 oreApache Kafka este o platformă distribuită de fluxe de date. De fapt, este un standard pentru construirea pipeline-urilor de date și rezolvă multe utilizări diferite în jurul procesării datelor: poate fi folosit ca coadă de mesaje, jurnal distribuit, procesor de fluxuri, etc.
Începem cu teoria din spatele pipeline-urilor de date în general, apoi continuăm cu conceptele fundamentale ale Kafka. Vom descoperi și componente importante precum Kafka Streams și Kafka Connect.
O Introducere Practică la Prelucrarea Flanelor de Date
21 oreÎn acest antrenament condus de instrucțor, live, în România (pe loc sau la distanță), participanții vor afla cum să configureze și să integreze diferite cadre de procesare a fluxurilor cu sistemele existente de stocare a datelor mari și cu aplicațiile și microserviciile asociate.
La finalul acestui antrenament, participanții vor putea:
- Să instaleze și să configureze diferite cadre de procesare a fluxurilor, cum ar fi Spark Streaming și Kafka Streaming.
- Să înțeleagă și să aleagă cea mai potrivită cadru pentru sarcină.
- Să proceseze datele continuu, simultan și pe baza fiecărui înregistrare.
- Să integreze soluțiile de procesare a fluxurilor cu bazele de date existente, depozitele de date, lacurile de date, etc.
- Să integreze biblioteca de procesare a fluxurilor cea mai potrivită cu aplicațiile și microserviciile enterprise.
Distributed Messaging with Apache Kafka
14 oreAcest curs este pentru arhitecții de enterprise, dezvoltatori, administratorii de sisteme și oricine care dorește să înțeleagă și să folosească un sistem de mesajere distribuit cu flux mare. Dacă aveți cerințe mai specifice (de exemplu, doar partea de administrare a sistemului), acest curs poate fi adaptat pentru a răspunde mai bine nevoilor dumneavoastră.
Kafka pentru Administratori
21 oreAceastă instruire condusă de instructor, live (online sau pe loc) este adresată administraților care doresc să seteze, să implementeze, să gestioneze și să optimizeze un cluster Kafka la nivel enterprise.
La finalul acestei instruiri, participanții vor putea:
- Setați și administrați un Cluster Kafka.
- Evaluează avantajele și dezavantajele implementării Kafka on-premise sau în cloud.
- Implementați și monitorizați Kafka folosind diverse instrumente pentru mediul on-premise și cloud.
Apache Kafka pentru dezvoltatori
21 oreAceastă instruire condusă de instrucționist, live (online sau la loc), este adresată dezvoltatorilor cu nivel intermediar care doresc să dezvolte aplicații de big data folosind Apache Kafka.
La finalul acestei instruirile, participanții vor putea:
- Dezvolta producători și consumatori Kafka pentru a trimite și citi date din Kafka.
- Integrează Kafka cu sisteme externe folosind Kafka Connect.
- Scrie aplicații de fluxare cu Kafka Streams & ksqlDB.
- Integrează o aplicație client Kafka cu Confluent Cloud pentru implementări de Kafka în cloud.
- Câștige experiență practică prin exerciții practice și cazuri de utilizare din lumea reală.
Apache Kafka pentru Progrămatori Python
7 oreAceastă instruire live, cu instructor în România (online sau la fața locului) se adresează inginerilor de date, cercetătorilor de date și programatorilor care doresc să utilizeze caracteristicile Apache Kafka în fluxul de date cu Python.
Până la sfârșitul acestei formări, participanții vor fi capabili să utilizeze Apache Kafka pentru a monitoriza și gestiona condițiile în fluxurile continue de date utilizând programarea Python.
Kafka Fundamentals for Java Developers
14 oreAcest training în direct condus de instrucțiune în România (online sau pe loc) este destinate dezvoltatorilor Java la nivel intermediar care doresc să integreze Apache Kafka în aplicațiile lor pentru mesajare fiabilă, scalabilă și cu flux mare.
La finalul acestui training, participanții vor putea:
- Înțelege arhitectura și componentele de bază ale Kafka.
- Configura un cluster Kafka.
- Produce și consuma mesaje folosind Java.
- Implementa Kafka Streams pentru procesarea datelor în timp real.
- Asigura toleranța la defecte și scalabilitatea în aplicațiile Kafka.
Administration of Kafka Message Queue
14 oreAcest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează administratorilor de sistem de nivel mediu care doresc să utilizeze eficient caracteristicile Kafka de coadă de mesaje.
La sfârșitul acestui curs de instruire, participanții vor putea să:
- Să înțeleagă capabilitățile și arhitectura de coadă de mesaje a lui Kafka.
- Să configureze subiectele Kafka pentru scenarii de coadă de mesaje.
- Să producă și să consume mesaje folosind Kafka.
- să monitorizeze și să gestioneze Kafka ca o coadă de mesaje.
Securitatea pentru Apache Kafka
7 oreAcest curs condus de instructor, live training în România (online sau on-site) este destinat testatorilor de software care doresc să implementeze măsuri de securitate a rețelei într-o aplicație Apache Kafka.
La finalul acestui curs, participanții vor putea:
- Așezarea Apache Kafka pe un server bazat pe cloud.
- Implementarea criptării SSL pentru a preveni atacurile.
- Adăugarea autentificării ACL pentru a urmări și controla accesul utilizatorilor.
- Asigurarea că clienții credibili au acces la cluster-urile Kafka cu autentificare SSL și SASL.
Apache Kafka și Spring Boot
7 oreAceastă instruire condusă de un instrutor, live (online sau prezent) este destinată dezvoltatorilor de nivel intermediar care doresc să învețe fundamentalele Kafka și să o integreze cu Spring Boot.
La finalul acestei instruirii, participanții vor putea:
- Înțelege Kafka și arhitectura sa.
- Afla cum să instaleze, configureze și să seteze un mediu de bază Kafka.
- Integrați Kafka cu Spring Boot.
Administration of Kafka Topic
14 oreAcest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează administratorilor de sistem de nivel începător sau intermediar care doresc să învețe cum să gestioneze eficient subiectele Kafka pentru un flux și o procesare eficientă a datelor.
La finalul acestui curs de formare, participanții vor fi capabili să:
- Să înțeleagă fundamentele și arhitectura subiectelor Kafka.
- Să creeze, să configureze și să gestioneze subiecte Kafka.
- Să monitorizeze subiectele Kafka pentru sănătate, performanță și disponibilitate.
- Să implementeze măsuri de securitate pentru subiectele Kafka.
SMACK Stack pentru Cercetarea Datelor
14 oreAceastă instruire condusă de un instructor, în direct (online sau prezent) se adresează științistilor de date care doresc să folosească stiva SMACK pentru a construi platforme de procesare a datelor pentru soluții cu date la scară largă.
La finalul acestei instruirile, participanții vor putea:
- Implementa o arhitectură de pipeline de date pentru procesarea datelor la scară largă.
- Dezvolta infrastructura unui cluster cu Apache Mesos și Docker.
- Analiza datele cu Spark și Scala.
- Gestioneaza datele nestructurate cu Apache Cassandra.
Microservices cu Spring Cloud și Kafka
21 oreAceastă instruire ghidată de instructor (online sau pe loc) este adresată dezvoltatorilor care doresc să transforme arhitectura tradițională într-o arhitectură bazată pe microservicii cu o performanță ridicată, folosind Spring Cloud, Kafka, Docker, Kubernetes și Redis.
La finalul acestei instruiri, participanții vor putea:
- Setați mediul de dezvoltare necesar pentru construirea microserviciilor.
- Proiectați și implementați un ecosistem de microservicii cu o performanță ridicată folosind Spring Cloud, Kafka, Redis, Docker și Kubernetes.
- Transformați serviciile monolitice și SOA în arhitectură bazată pe microservicii.
- Adopționați o abordare DevOps pentru dezvoltarea, testarea și lansarea software-ului.
- Asigurați performanța ridicată a microserviciilor în producție.
- Monitorizați microserviciile și implementați strategii de recuperare.
- Efectuați optimizarea performanței.
- Aflați despre tendințele viitoare în arhitectura microserviciilor.
