Schița de curs
Fundamentele NiFi și a fluxului de date
- Date în mișcare vs. date la loc: concepte și provocări
- Arhitectura NiFi: nucleu, controlorul fluxului, originea datelor și anunțurile
- Componentele cheie: procesatoare, conexiuni, controloare și origine
Contextul Big Data și integrarea
- Rolul NiFi în ecosistemele Big Data (Hadoop, Kafka, depozitare cloud)
- Prezentare generală a HDFS, MapReduce și alternative moderne
- Cazuri de utilizare: inghițirea fluxului, transportul jurnalurilor, canalele de evenimente
Instalare, configurare și setup cluster
- Instalarea NiFi pe nod simplu și în mod cluster
- Configurarea clusterului: rolurile nodurilor, Zookeeper și echilibrarea sarcinii
- Orchestarea implementărilor NiFi: folosirea Ansible, Docker sau Helm
Proiectarea și gestionarea fluxurilor de date
- Rutare, filtrare, împărțire și combinarea fluxurilor
- Configurarea procesatoarelor (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
- Gestionarea schemei, îmbogățirii și transformărilor
- Gestionarea erorilor, relațiile de retry și backpressure
Scenarii de integrare
- Conectarea la baze de date, sisteme de mesagerie, API-uri REST
- Streaming către sisteme de analiză: Kafka, Elasticsearch sau depozitare cloud
- Integrarea cu Splunk, Prometheus sau canale de jurnalare
Monitorizare, recuperare și origine
- Folosirea UI-ului NiFi, metricilor și vizualizatorului originii datelor
- Proiectarea recuperării autonome și gestionării eșecurilor cu grace
- Siguranța de backup, versiunarea fluxului și gestionarea schimbărilor
Optimizarea performanței și ajustările
- Ajustarea JVM, memoriei heap, poolelor de thread-uri și parametrilor clusterului
- Optimizarea proiectării fluxului pentru reducerea punctelor de strângere
- Izolarea resurselor, prioritizarea fluxului și controlul debitului
Bune practici și guvernanță
- Documentarea fluxului, standarde de denumire, proiectare modulară
- Siguranță: TLS, autentificare, control de acces, criptarea datelor
- Gestionarea schimbărilor, versiunarea, controlul bazat pe roluri și istoricul auditării
Depanare și gestionarea incidentelor
- Probleme comune: blocările, pierderile de memorie, erorile procesatorului
- Analiza jurnalurilor, diagnostica erorilor și investigarea cauzei fundamentale
- Strategii de recuperare și rollback al fluxului
Laborator practic: Implementarea unui pipeline real de date
- Construirea unui flux end-to-end: inghițire, transformare, livrare
- Implementarea gestionării erorilor, backpressure și scalabilitatea
- Testarea performanței și ajustarea pipeline-ului
Synthesizarea și următorii pași
Cerințe
- Experiență cu linia de comandă Linux
- Cunoștințe de bază privind rețelele și sistemele de date
- Familiarizare cu conceptele de streaming de date sau ETL
Public țintă
- Administratori de sisteme
- Ingineri de date
- Develozatori
- Profesioniști DevOps
Mărturii (7)
Exerciții practice. Clasa ar fi trebuit să dureze 5 zile, dar cele 3 zile au ajutat la clarificarea multor întrebări pe care le aveam din lucrul cu NiFi deja
James - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Cred că ritmul instructorului a fost bun. Nu a lăsat niciun cursant în urmă cu abordarea sa. Ne-a sprijinit foarte mult pe noi, începătorii, care poate nu am avut un rol de administrator de sistem sau de infrastructură în timpul carierei noastre sau care am reînviat aceste competențe dintr-o perioadă anterioară a carierei noastre.
Pamdrea Ivory - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Îmi place secțiunea practică. M-a ajutat să rețin mai bine informațiile prin completarea exercițiilor furnizate. De asemenea, capacitatea formatorului de a se implica cu întreaga clasă m-a făcut să mă simt confortabil să pun întrebări cu privire la lucruri de care nu eram sigur.
Leila - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Cazuri de utilizare, exemple pentru construirea fluxurilor de date NiFi. Am lucrat la depanarea problemelor comune și a "gotchas".
Nelson - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mi-a plăcut structura. În prima zi am aprofundat elementele de bază ale Nifi, conceptele, cazurile de utilizare etc. În a doua zi, am pus în practică cunoștințele din prima zi prin crearea de fluxuri pentru a îndeplini cerințele scenariului. În ziua a treia, am avut ocazia să vedem Nifi Registry și controlul versiunilor, mulit-tenancy și să trecem în revistă Q&A.
Adam - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mă plac modul în care a reușit să detaleze despre NiFi și cât de puternic este acesta. Practic, îl poți folosi pentru orice infrastructură și poți utiliza multe limbaje de programare diferite. De asemenea, m-am bucurat că am reușit să rezolvăm problema actualizării certificatului NiFi cu care aveam dificultăți în legătură cu Truststore.
Joachim Martin - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
cunoștințele generale și posibilitățile pe care instruirea le oferea în ceea ce privește instrumentul.
Nalfis Tobar - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
