Schița de curs
Fundamentele NiFi și Fluxul de Date
- Date în mișcare vs date în repaus: concepte și provocări
- Arhitectura NiFi: nuclee, controler de flux, proveniență și buletin
- Componente cheie: procesoare, conexiuni, controlere și proveniență
Contextul Big Data și Integrarea
- Rolul NiFi în ecosistemele Big Data (Hadoop, Kafka, stocare în cloud)
- Prezentare generală a HDFS, MapReduce și alternativelor moderne
- Cazuri de utilizare: ingestie de fluxuri, transport de jurnale, conducte de evenimente
Instalare, Configurare & Setare Cluster
- Instalarea NiFi pe un singur nod și în mod cluster
- Configurarea clusterului: roluri ale nodurilor, zookeeper și echilibrarea sarcinii
- Orchestrarea implementărilor NiFi: utilizarea Ansible, Docker sau Helm
Proiectarea și Gestionarea Fluxurilor de Date
- Rutare, filtrare, divizare, îmbinare fluxuri
- Configurarea procesoarelor (InvokeHTTP, QueryRecord, PutDatabaseRecord etc.)
- Gestionarea operațiunilor de schemă, îmbogățire și transformare
- Gestionarea erorilor, relații de reîncercare și contrapresiune
Scenarii de Integrare
- Conectarea la baze de date, sisteme de mesagerie, API-uri REST
- Streaming către sisteme de analiză: Kafka, Elasticsearch sau stocare în cloud
- Integrare cu Splunk, Prometheus sau conducte de jurnalizare
Monitorizare, Recuperare & Proveniență
- Utilizarea interfeței NiFi, metrici și vizualizator de proveniență
- Proiectarea recuperării autonome și gestionării elegante a defecțiunilor
- Backup, versionarea fluxurilor și gestionarea schimbărilor
Optimizare și Reglare a Performanței
- Reglarea JVM, heap, pool-uri de fire și parametri de clustering
- Optimizarea designului fluxurilor pentru a reduce punctele de blocaj
- Izolarea resurselor, priorizarea fluxurilor și controlul debitului
Bune Practici & Guvernanță
- Documentarea fluxurilor, standarde de denumire, design modular
- Securitate: TLS, autentificare, controlul accesului, criptarea datelor
- Controlul schimbărilor, versionare, acces bazat pe roluri, urme de audit
Depanare & Răspuns la Incidente
- Probleme comune: blocaje, scurgeri de memorie, erori de procesoare
- Analiza jurnalelor, diagnosticarea erorilor și investigarea cauzelor
- Strategii de recuperare și revenire la versiuni anterioare ale fluxurilor
Laborator Practic: Implementarea unei Conducte de Date Realiste
- Construirea unui flux de la cap la cap: ingestie, transformare, livrare
- Implementarea gestionării erorilor, contrapresiunii și scalării
- Testarea și optimizarea performanței conductei
Rezumat și Pași Următori
Cerințe
- Experiență cu linia de comandă Linux
- Înțelegere de bază a rețelelor și sistemelor de date
- Expunere la concepte de streaming de date sau ETL
Publicul țintă
- Administratori de sisteme
- Ingineri de date
- Dezvoltatori
- Profesioniști DevOps
Mărturii (7)
Exerciții practice. Clasa ar fi trebuit să dureze 5 zile, dar cele 3 zile au ajutat la clarificarea multor întrebări pe care le aveam din cauza lucrului cu NiFi.
James - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
M-am gândit că ritmul formatorului era bun. Nu a lăsat niciun student în urmă cu abordarea sa. A fost foarte de ajutor pentru noi CELE NOI, care s-ar putea să nu fi avut un rol de Administrator de Sisteme sau Infrastructură în cariera noastră sau care au reactivat acele abilități dintr-o perioadă anterioară a carierei noastre.
Pamdrea Ivory - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mă plac secțiunea practică. Mi-a ajutat să rețin mai bine informațiile prin efectuarea exercițiilor oferite. De asemenea, abilitatea instrucționarului de a interacționa cu întreaga clasă m-a făcut să mă simt confortabil să pun întrebări despre lucruri pe care nu le înțelegeam.
Leila - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Cazuri de utilizare și exemple pentru construirea fluxurilor de date NiFi. Am lucrat la rezolvarea problemelor comune și ale capcanelor.
Nelson - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mi-a plăcut structura. În prima zi ne-am uitat la noțiunile de bază ale Nifi, concepte, cazuri de utilizare etc. Pe a doua zi, am putut aplica cunoștințele din prima zi construind fluxuri pentru a satisface cerințele scenariilor. În a treia zi, am fost prezentat cu Registry-ul Nifi și controlul versiunilor, multi-tenanța și am trecut în revizuire întrebările și răspunsurile.
Adam - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mă bucur că a reușit să-și expună în detaliu despre Nifi și cât de puternic este. De fapt, îl poți folosi pentru orice infrastructură și cu multe limbaje de programare diferite. De asemenea, m-am bucurat că am reușit să rezolvăm problema cu renouvarea certificatului Nifi pe care o avem cu Truststore.
Joachim Martin - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
cunoștințe generale și posibilitățile pe care instruirea le oferă în ceea ce privește instrumentul.
Nalfis Tobar - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina