Schița de curs
Fundamentele datelor intensive Platform Engineering
- Introducere în aplicațiile cu utilizare intensivă a datelor
- Provocări în ingineria platformei pentru date mari
- Prezentare generală a arhitecturilor de procesare a datelor
Modelarea datelor și Management
- Principii de modelare a datelor pentru scalabilitate
- Opțiuni de stocare a datelor și optimizare
- Gestionarea ciclului de viață al datelor într-un mediu distribuit
Big Data Cadre de prelucrare
- Prezentare generală a instrumentelor de procesare a datelor mari (Hadoop, Spark, Flink)
- Procesare pe loturi vs. procesare în flux
- Configurarea unui pipeline de procesare a datelor mari
Platforme de analiză în timp real
- Arhitectura pentru analiza în timp real
- Motoare de procesare în flux (Kafka Streams, Apache Storm)
- Crearea de tablouri de bord și vizualizări în timp real
Orchestrarea conductelor de date
- Gestionarea fluxurilor de lucru cu Apache Airflow și altele
- Automatizarea conductelor de date pentru eficiență
- Monitorizarea și alertarea pentru conductele de date
Securitatea și conformitatea platformei
- Cele mai bune practici de securitate pentru platformele de date
- Asigurarea confidențialității datelor și a conformității cu reglementările
- Implementarea unor controale sigure ale accesului la date
Reglarea și optimizarea performanței
- Tehnici de optimizare a randamentului și a latenței datelor
- Strategii de scalare pentru platformele cu utilizare intensivă a datelor
- Evaluarea comparativă și monitorizarea performanțelor
Studii de caz și bune practici
- Analiza implementărilor de succes ale platformelor de date
- Lecții învățate de la liderii din industrie
- Tendințe emergente în ingineria platformelor de date intensive
Proiect Capstone
- Proiectarea unei soluții de platformă pentru o aplicație cu utilizare intensivă a datelor
- Implementarea unui prototip al conductei de procesare a datelor
- Evaluarea performanței și a scalabilității platformei
Rezumat și etape următoare
Cerințe
- Înțelegerea structurilor de date și a algoritmilor de bază
- Experiență cu programarea Java, Scala sau Python.
- Familiaritate cu conceptele de bază ale bazelor de date și SQL
Audiență
- Dezvoltatorii de software
- Inginerii de date
- Responsabili tehnici
Mărturii (3)
I am getting the correct level of understanding I need to assist in my day to day work
Wasfi Adams
Curs - Impacted Function Point (IFP)
The trainer was super engaging and made sure we understand through questioning and affirmations. Even though the content was overwhelming, the trainer broke it down well and made content easily accessible for later reference.
Zaid Amerika
Curs - Unit of Software Measurement Parameterization (UMSP)
Everything was built up from a basic level while progressing quick enough to prevent anyone getting bored.