Schița de curs
Fundamentele NiFi și ale fluxului de date
- Date în mișcare vs date în repaus: concepte și provocări
- Arhitectura NiFi: nuclee, flow controller, provenance și bulletin
- Componente cheie: procesoare, conexiuni, controllere și provenance
Contextul Big Data și integrarea
- Rolul NiFi în ecosistemele Big Data (Hadoop, Kafka, cloud storage)
- Prezentare generală a HDFS, MapReduce și alternative moderne
- Cazuri de utilizare: ingestie de fluxuri, log shipping, pipeline-uri de evenimente
Instalare, configurare și configurarea clusterului
- Instalarea NiFi pe un singur nod și în mod cluster
- Configurarea clusterului: roluri de noduri, Zookeeper și load balancing
- Orchestrarea implementărilor NiFi: folosind Ansible, Docker sau Helm
Proiectarea și gestionarea fluxurilor de date
- Rutarea, filtrarea, divizarea și fuzionarea fluxurilor
- Configurarea procesoarelor (InvokeHTTP, QueryRecord, PutDatabaseRecord etc.)
- Gestionarea operațiunilor de schemă, îmbogățire și transformare
- Gestionarea erorilor, relațiile de reîncercare și backpressure
Scenarii de integrare
- Conectarea la baze de date, sisteme de mesagerie, API-uri REST
- Streaming către sisteme de analiză: Kafka, Elasticsearch sau cloud storage
- Integrarea cu Splunk, Prometheus sau pipeline-uri de logging
Monitorizare, recuperare și provenance
- Utilizarea interfeței NiFi, a metricilor și a vizualizatorului de provenance
- Proiectarea recuperării autonome și a gestionării elegante a eșecurilor
- Backup, versionarea fluxurilor și managementul schimbărilor
Tuning de performanță și optimizare
- Reglarea JVM, a heap-ului, a pool-urilor de thread-uri și a parametrilor de clustering
- Optimizarea designului fluxurilor pentru a reduce blocajele
- Izolarea resurselor, prioritizarea fluxurilor și controlul throughput-ului
Cele mai bune practici și guvernanță
- Documentarea fluxurilor, standarde de denumire, design modular
- Securitate: TLS, autentificare, controlul accesului, criptarea datelor
- Controlul schimbărilor, versionare, acces bazat pe roluri, piste de audit
Depanare și răspuns la incidente
- Probleme comune: deadlock-uri, memory leaks, erori ale procesoarelor
- Analiza logurilor, diagnosticarea erorilor și investigarea cauzei principale
- Strategii de recuperare și rollback al fluxurilor
Laborator practic: implementarea unui pipeline de date realist
- Construirea unui flux end-to-end: ingestie, transformare, livrare
- Implementarea gestionării erorilor, a backpressure-ului și a scalării
- Testarea performanței și reglarea pipeline-ului
Rezumat și pașii următori
Cerințe
- Experiență cu linia de comandă Linux
- Înțelegere de bază a rețelelor și a sistemelor de date
- Expunere la concepte de data streaming sau ETL
Public țintă
- Administratori de sistem
- Ingineri de date
- Dezvoltatori
- Profesioniști DevOps
Mărturii (7)
Exerciții practice. Clasa ar fi trebuit să dureze 5 zile, dar cele 3 zile au ajutat la clarificarea multor întrebări pe care le aveam din cauza lucrului cu NiFi.
James - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
M-am gândit că ritmul formatorului era bun. Nu a lăsat niciun student în urmă cu abordarea sa. A fost foarte de ajutor pentru noi CELE NOI, care s-ar putea să nu fi avut un rol de Administrator de Sisteme sau Infrastructură în cariera noastră sau care au reactivat acele abilități dintr-o perioadă anterioară a carierei noastre.
Pamdrea Ivory - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mă plac secțiunea practică. Mi-a ajutat să rețin mai bine informațiile prin efectuarea exercițiilor oferite. De asemenea, abilitatea instrucționarului de a interacționa cu întreaga clasă m-a făcut să mă simt confortabil să pun întrebări despre lucruri pe care nu le înțelegeam.
Leila - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Cazuri de utilizare și exemple pentru construirea fluxurilor de date NiFi. Am lucrat la rezolvarea problemelor comune și ale capcanelor.
Nelson - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mi-a plăcut structura. În prima zi ne-am uitat la noțiunile de bază ale Nifi, concepte, cazuri de utilizare etc. Pe a doua zi, am putut aplica cunoștințele din prima zi construind fluxuri pentru a satisface cerințele scenariilor. În a treia zi, am fost prezentat cu Registry-ul Nifi și controlul versiunilor, multi-tenanța și am trecut în revizuire întrebările și răspunsurile.
Adam - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mă bucur că a reușit să-și expună în detaliu despre Nifi și cât de puternic este. De fapt, îl poți folosi pentru orice infrastructură și cu multe limbaje de programare diferite. De asemenea, m-am bucurat că am reușit să rezolvăm problema cu renouvarea certificatului Nifi pe care o avem cu Truststore.
Joachim Martin - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
cunoștințe generale și posibilitățile pe care instruirea le oferă în ceea ce privește instrumentul.
Nalfis Tobar - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
