Schița de curs

Introducere

Prezentare generală a Spark Streaming Caracteristici și arhitectură

  • Surse de date acceptate
  • API-uri de bază

Pregătirea mediului

  • Dependențe
  • Spark și contextul de streaming
  • Conectarea la Kafka

Procesarea mesajelor

  • Parsarea mesajelor primite ca JSON
  • Procese ETL
  • Pornirea contextului de streaming

Efectuarea unei ferestre Stream Processing

  • Interval de alunecare
  • Configurația de livrare a punctelor de control
  • Lansarea mediului

Prototiparea codului de procesare

  • Conectarea la un subiect Kafka
  • Recuperarea JSON din sursa de date utilizând Paw
  • Variații și procesare suplimentară

Transmiterea în flux a codului

  • Variabilele de control al locului de muncă
  • Definirea valorilor care să corespundă
  • Funcții și condiții

Achiziționarea fluxului de ieșire

  • Contoare
  • Ieșirea Kafka (cu și fără corespondență)

Depanare

Rezumat și concluzii

Cerințe

  • Experiență cu Python și Apache Kafka
  • Familiaritate cu platformele de procesare a fluxurilor

Audiență

  • Inginerii de date
  • Științifici de date
  • Programatori
 7 ore

Numărul de participanți


Pret per participant

Mărturii (5)

Categorii înrudite