Schița de curs
Fundamentele NiFi și a fluxului de date
- Date în mișcare vs. date la loc: concepte și provocări
- Arhitectura NiFi: nucleu, controlorul fluxului, originea datelor și anunțurile
- Componentele cheie: procesatoare, conexiuni, controloare și origine
Contextul Big Data și integrarea
- Rolul NiFi în ecosistemele Big Data (Hadoop, Kafka, depozitare cloud)
- Prezentare generală a HDFS, MapReduce și alternative moderne
- Cazuri de utilizare: inghițirea fluxului, transportul jurnalurilor, canalele de evenimente
Instalare, configurare și setup cluster
- Instalarea NiFi pe nod simplu și în mod cluster
- Configurarea clusterului: rolurile nodurilor, Zookeeper și echilibrarea sarcinii
- Orchestarea implementărilor NiFi: folosirea Ansible, Docker sau Helm
Proiectarea și gestionarea fluxurilor de date
- Rutare, filtrare, împărțire și combinarea fluxurilor
- Configurarea procesatoarelor (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
- Gestionarea schemei, îmbogățirii și transformărilor
- Gestionarea erorilor, relațiile de retry și backpressure
Scenarii de integrare
- Conectarea la baze de date, sisteme de mesagerie, API-uri REST
- Streaming către sisteme de analiză: Kafka, Elasticsearch sau depozitare cloud
- Integrarea cu Splunk, Prometheus sau canale de jurnalare
Monitorizare, recuperare și origine
- Folosirea UI-ului NiFi, metricilor și vizualizatorului originii datelor
- Proiectarea recuperării autonome și gestionării eșecurilor cu grace
- Siguranța de backup, versiunarea fluxului și gestionarea schimbărilor
Optimizarea performanței și ajustările
- Ajustarea JVM, memoriei heap, poolelor de thread-uri și parametrilor clusterului
- Optimizarea proiectării fluxului pentru reducerea punctelor de strângere
- Izolarea resurselor, prioritizarea fluxului și controlul debitului
Bune practici și guvernanță
- Documentarea fluxului, standarde de denumire, proiectare modulară
- Siguranță: TLS, autentificare, control de acces, criptarea datelor
- Gestionarea schimbărilor, versiunarea, controlul bazat pe roluri și istoricul auditării
Depanare și gestionarea incidentelor
- Probleme comune: blocările, pierderile de memorie, erorile procesatorului
- Analiza jurnalurilor, diagnostica erorilor și investigarea cauzei fundamentale
- Strategii de recuperare și rollback al fluxului
Laborator practic: Implementarea unui pipeline real de date
- Construirea unui flux end-to-end: inghițire, transformare, livrare
- Implementarea gestionării erorilor, backpressure și scalabilitatea
- Testarea performanței și ajustarea pipeline-ului
Synthesizarea și următorii pași
Cerințe
- Experiență cu linia de comandă Linux
- Cunoștințe de bază privind rețelele și sistemele de date
- Familiarizare cu conceptele de streaming de date sau ETL
Public țintă
- Administratori de sisteme
- Ingineri de date
- Develozatori
- Profesioniști DevOps
Mărturii (7)
Exerciții practice. Clasa ar fi trebuit să dureze 5 zile, dar cele 3 zile au ajutat la clarificarea multor întrebări pe care le aveam din cauza lucrului cu NiFi.
James - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
M-am gândit că ritmul formatorului era bun. Nu a lăsat niciun student în urmă cu abordarea sa. A fost foarte de ajutor pentru noi CELE NOI, care s-ar putea să nu fi avut un rol de Administrator de Sisteme sau Infrastructură în cariera noastră sau care au reactivat acele abilități dintr-o perioadă anterioară a carierei noastre.
Pamdrea Ivory - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mă plac secțiunea practică. Mi-a ajutat să rețin mai bine informațiile prin efectuarea exercițiilor oferite. De asemenea, abilitatea instrucționarului de a interacționa cu întreaga clasă m-a făcut să mă simt confortabil să pun întrebări despre lucruri pe care nu le înțelegeam.
Leila - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Cazuri de utilizare și exemple pentru construirea fluxurilor de date NiFi. Am lucrat la rezolvarea problemelor comune și ale capcanelor.
Nelson - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mi-a plăcut structura. În prima zi ne-am uitat la noțiunile de bază ale Nifi, concepte, cazuri de utilizare etc. Pe a doua zi, am putut aplica cunoștințele din prima zi construind fluxuri pentru a satisface cerințele scenariilor. În a treia zi, am fost prezentat cu Registry-ul Nifi și controlul versiunilor, multi-tenanța și am trecut în revizuire întrebările și răspunsurile.
Adam - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
Mă bucur că a reușit să-și expună în detaliu despre Nifi și cât de puternic este. De fapt, îl poți folosi pentru orice infrastructură și cu multe limbaje de programare diferite. De asemenea, m-am bucurat că am reușit să rezolvăm problema cu renouvarea certificatului Nifi pe care o avem cu Truststore.
Joachim Martin - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina
cunoștințe generale și posibilitățile pe care instruirea le oferă în ceea ce privește instrumentul.
Nalfis Tobar - BHG Financial
Curs - Apache NiFi for Administrators
Tradus de catre o masina