Schița de curs
Introducere
Prezentare generală a Spark Streaming Caracteristici și arhitectură
- Surse de date acceptate
- API-uri de bază
Pregătirea mediului
- Dependențe
- Spark și contextul de streaming
- Conectarea la Kafka
Procesarea mesajelor
- Parsarea mesajelor primite ca JSON
- Procese ETL
- Pornirea contextului de streaming
Efectuarea unei ferestre Stream Processing
- Interval de alunecare
- Configurația de livrare a punctelor de control
- Lansarea mediului
Prototiparea codului de procesare
- Conectarea la un subiect Kafka
- Recuperarea JSON din sursa de date utilizând Paw
- Variații și procesare suplimentară
Transmiterea în flux a codului
- Variabilele de control al locului de muncă
- Definirea valorilor care să corespundă
- Funcții și condiții
Achiziționarea fluxului de ieșire
- Contoare
- Ieșirea Kafka (cu și fără corespondență)
Depanare
Rezumat și concluzii
Cerințe
- Experiență cu Python și Apache Kafka
- Familiaritate cu platformele de procesare a fluxurilor
Audiență
- Inginerii de date
- Științifici de date
- Programatori
Mărturii (4)
Formatorul a fost foarte disponibil pentru a răspunde la toate tipurile de întrebări pe care le-am avut.
Caterina - Stamtech
Curs - Developing APIs with Python and FastAPI
Tradus de catre o masina
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Curs - Build REST APIs with Python and Flask
Transferul de cunoștințe practice și experiență a formatorului.
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
Curs - GUI Programming with Python and PyQt
Tradus de catre o masina
As I was the only participant the training could be adapted to my needs.