Schița de curs

Introducere

  • Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Storm și Flink

Instalare și configurare Apache Beam

Prezentare generală a Apache Beam Caracteristici și arhitectură

  • Beam Model, SDK-uri, Beam Pipeline Runners
  • Back-end-uri de procesare distribuită

Înțelegerea modelului Apache Beam Programming.

  • Cum se execută o conductă

Rularea unei conducte de probă

  • Pregătirea unei conducte WordCount
  • Executarea Conductei la nivel local

Proiectarea unei conducte

  • Planificarea structurii, alegerea transformărilor și determinarea metodelor de intrare și ieșire

Crearea conductei

  • Scrierea programului de driver și definirea conductei
  • Folosind clasele Apache Beam.
  • Seturi de date, transformări, I/O, codificare de date etc.

Executarea conductei

  • Executarea conductei la nivel local, pe mașini la distanță și pe un cloud public
  • Alegerea unui alergător
  • Configurații specifice alergătorului

Testare și depanare Apache Beam

  • Folosind indicii de tip pentru a emula tastarea statică
  • Gestionarea Python Dependențe de conducte

Procesarea seturi de date limitate și nelimitate

  • Ferestre și declanșatoare

Faceți conductele dvs. reutilizabile și întreținute

Creați noi surse de date și colectoare

  • Apache Beam API-ul sursă și receptor

Integrarea Apache Beam cu alte Big Data Sisteme

  • Apache Hadoop, Apache Spark, Apache Kafka

Depanare

Rezumat și Concluzie

Cerințe

  • Experiență cu Python Programare.
  • Experiență cu linia de comandă Linux.
  • .

Audiență

  • Dezvoltatorii
  14 ore
 

Numărul de participanți


Dată început

Dată sfârșit


Dates are subject to availability and take place between 09:30 and 16:30.
Open Training Courses require 5+ participants.

Mărturii (1)

Cursuri înrudite

Stream Processing with Kafka Streams

  7 ore

Categorii înrudite