Schița de curs

Fundamentele Ingineriei Platformelor pentru Date Intensiv

  • Introducere în aplicațiile cu date intensiv
  • Provocări în ingineria platformelor pentru date mari
  • Prezentare generală a arhitecturilor de procesare a datelor

Modelarea și Managementul Datelor

  • Principii de modelare a datelor pentru scalabilitate
  • Opțiuni de stocare a datelor și optimizare
  • Gestionarea ciclului de viață al datelor într-un mediu distribuit

Framework-uri de Procesare a Datelor Mari

  • Prezentare generală a instrumentelor de procesare a datelor mari (Hadoop, Spark, Flink)
  • Procesare în lot vs. procesare în flux
  • Configurarea unei conducte de procesare a datelor mari

Platforme de Analiză în Timp Real

  • Arhitectura pentru analiză în timp real
  • Motoare de procesare în flux (Kafka Streams, Apache Storm)
  • Construirea de tablouri de bord și vizualizări în timp real

Orchestrarea Conductelor de Date

  • Gestionarea fluxurilor de lucru cu Apache Airflow și altele
  • Automatizarea conductelor de date pentru eficiență
  • Monitorizarea și alertele pentru conductele de date

Securitatea și Conformitatea Platformelor

  • Practici de securitate pentru platformele de date
  • Asigurarea confidențialității datelor și conformitatea reglementară
  • Implementarea controalelor de acces securizat la date

Optimizarea și Reglajul Performanței

  • Tehnici de optimizare a debitului și latenței datelor
  • Strategii de scalare pentru platformele cu date intensiv
  • Benchmarking și monitorizare a performanței

Studii de Caz și Practici de Top

  • Analiza implementărilor de succes ale platformelor de date
  • Lecții învățate de la liderii din industrie
  • Tendințe emergente în ingineria platformelor cu date intensiv

Proiect Capstone

  • Proiectarea unei soluții de platformă pentru o aplicație cu date intensiv
  • Implementarea unui prototip al conductei de procesare a datelor
  • Evaluarea performanței și scalabilității platformei

Rezumat și Următorii Pași

Cerințe

  • Înțelegerea structurilor de date și a algoritmilor de bază
  • Experiență în programare cu Java, Scala sau Python
  • Familiaritate cu conceptele de bază ale bazelor de date și SQL

Publicul țintă

  • Dezvoltatori de software
  • Ingineri de date
  • Responsabili tehnici
 21 Ore

Numărul de participanți


Pret per participant

Mărturii (1)

Cursuri viitoare

Categorii înrudite