Schița de curs

Fundamentele NiFi și Fluxul de Date

  • Date în mișcare vs date în repaus: concepte și provocări
  • Arhitectura NiFi: nuclee, controler de flux, proveniență și buletin
  • Componente cheie: procesoare, conexiuni, controlere și proveniență

Contextul Big Data și Integrarea

  • Rolul NiFi în ecosistemele Big Data (Hadoop, Kafka, stocare în cloud)
  • Prezentare generală a HDFS, MapReduce și alternativelor moderne
  • Cazuri de utilizare: ingestie de fluxuri, transport de jurnale, conducte de evenimente

Instalare, Configurare & Setare Cluster

  • Instalarea NiFi pe un singur nod și în mod cluster
  • Configurarea clusterului: roluri ale nodurilor, zookeeper și echilibrarea sarcinii
  • Orchestrarea implementărilor NiFi: utilizarea Ansible, Docker sau Helm

Proiectarea și Gestionarea Fluxurilor de Date

  • Rutare, filtrare, divizare, îmbinare fluxuri
  • Configurarea procesoarelor (InvokeHTTP, QueryRecord, PutDatabaseRecord etc.)
  • Gestionarea operațiunilor de schemă, îmbogățire și transformare
  • Gestionarea erorilor, relații de reîncercare și contrapresiune

Scenarii de Integrare

  • Conectarea la baze de date, sisteme de mesagerie, API-uri REST
  • Streaming către sisteme de analiză: Kafka, Elasticsearch sau stocare în cloud
  • Integrare cu Splunk, Prometheus sau conducte de jurnalizare

Monitorizare, Recuperare & Proveniență

  • Utilizarea interfeței NiFi, metrici și vizualizator de proveniență
  • Proiectarea recuperării autonome și gestionării elegante a defecțiunilor
  • Backup, versionarea fluxurilor și gestionarea schimbărilor

Optimizare și Reglare a Performanței

  • Reglarea JVM, heap, pool-uri de fire și parametri de clustering
  • Optimizarea designului fluxurilor pentru a reduce punctele de blocaj
  • Izolarea resurselor, priorizarea fluxurilor și controlul debitului

Bune Practici & Guvernanță

  • Documentarea fluxurilor, standarde de denumire, design modular
  • Securitate: TLS, autentificare, controlul accesului, criptarea datelor
  • Controlul schimbărilor, versionare, acces bazat pe roluri, urme de audit

Depanare & Răspuns la Incidente

  • Probleme comune: blocaje, scurgeri de memorie, erori de procesoare
  • Analiza jurnalelor, diagnosticarea erorilor și investigarea cauzelor
  • Strategii de recuperare și revenire la versiuni anterioare ale fluxurilor

Laborator Practic: Implementarea unei Conducte de Date Realiste

  • Construirea unui flux de la cap la cap: ingestie, transformare, livrare
  • Implementarea gestionării erorilor, contrapresiunii și scalării
  • Testarea și optimizarea performanței conductei

Rezumat și Pași Următori

Cerințe

  • Experiență cu linia de comandă Linux
  • Înțelegere de bază a rețelelor și sistemelor de date
  • Expunere la concepte de streaming de date sau ETL

Publicul țintă

  • Administratori de sisteme
  • Ingineri de date
  • Dezvoltatori
  • Profesioniști DevOps
 21 Ore

Numărul de participanți


Pret per participant

Mărturii (7)

Cursuri viitoare

Categorii înrudite