Curs de pregatire Data Streaming și procesarea datelor în timp real

Această formare condusă de un instructor, live în România (online sau la fața locului) este destinată profesioniștilor avansați în domeniul datelor care doresc să optimizeze fluxurile de procesare a datelor, să asigure integritatea datelor și să implementeze soluții robuste de tip data lakehouse care să poată gestiona complexitatea aplicațiilor moderne de big data.

La finalul acestei formări, participanții vor putea:

• Să înțeleagă în profunzime arhitectura Iceberg, inclusiv gestionarea metadatelor și structura fișierelor.
• Să configureze Iceberg pentru performanță optimă în diverse medii și să-l integreze cu multiple motoare de procesare a datelor.
• Să gestioneze tabele Iceberg la scară largă, să efectueze schimbări complexe de scheme și să gestioneze evoluția partițiilor.
• Să stăpânească tehnici de optimizare a performanței interogărilor și a eficienței scanării datelor pentru seturi de date mari.
• Să implementeze mecanisme pentru a asigura consistența datelor, să gestioneze garanțiile tranzacționale și să facă față defecțiunilor în medii distribuite.

Acest training condus de un instructor, live în România (online sau la fața locului), este destinat profesioniștilor de date de nivel începător care doresc să dobândească cunoștințele și abilitățile necesare pentru a utiliza eficient Apache Iceberg în gestionarea seturilor de date la scară largă, asigurarea integrității datelor și optimizarea fluxurilor de procesare a datelor.

La finalul acestui training, participanții vor putea:

• Să înțeleagă în profunzime arhitectura, caracteristicile și beneficiile Apache Iceberg.
• Să învețe despre formatele de tabele, partiționarea, evoluția schemei și capacitățile de time travel.
• Să instaleze și să configureze Apache Iceberg în diferite medii.
• Să creeze, să gestioneze și să manipuleze tabele Iceberg.
• Să înțeleagă procesul de migrare a datelor de la alte formate de tabele la Iceberg.

Acest training condus de un instructor, live în România (online sau la fața locului), este destinat specialiștilor și inginerilor de date de nivel intermediar care doresc să utilizeze Google Colab și Apache Spark pentru procesarea și analiza datelor mari.

La sfârșitul acestui training, participanții vor putea:

• Să configureze un mediu de lucru pentru date mari folosind Google Colab și Spark.
• Să proceseze și să analizeze eficient seturi mari de date cu Apache Spark.
• Să vizualizeze date mari într-un mediu colaborativ.
• Să integreze Apache Spark cu instrumente bazate pe cloud.

Acest training live, condus de un instructor (online sau onsite), este destinat inginerilor de date, analistelor de date și profesioniștilor din domeniul datelor care doresc să utilizeze Databricks și PySpark pentru a construi pipelines scalabile de date și a migra fluxurile de lucru SQL existente.

Acest training oferă o introducere practică în construirea de fluxuri de lucru scalabile de procesare a datelor și Machine Learning folosind PySpark. Participanții vor învăța cum funcționează Apache Spark în ecosistemele moderne de Big Data și cum să proceseze eficient seturi mari de date folosind principiile calculului distribuit.

Acest curs practic de trei zile se concentrează pe construirea și optimizarea workload-urilor eficiente de procesare a datelor, folosind PySpark, Pandas și Polars în medii bazate pe Kubernetes.

Vei dezvolta o înțelegere practică a modului în care aplicațiile Spark se execută pe Kubernetes și cum deciziile de configurare la nivel de aplicație influențează performanța, scalabilitatea, consumul de resurse și costurile. Cursul acoperă zone-cheie de optimizare, inclusiv dimensionarea executorilor, alocarea memoriei, alocarea dinamică, strategiile de partiționare, comportamentul shuffle, problemele legate de fișierele mici și procesarea eficientă a formatului Parquet.

De asemenea, cursul abordează provocările comune cu care te confrunți la lucrul cu Pandas, precum limitările de memorie și erorile de tip out-of-memory, și introduce Polars ca alternativă de înaltă performanță pentru anumite workload-uri de procesare a datelor. Prin exerciții hands-on, vei diagnostica problemele de performanță și de memorie, vei compara diferite strategii de configurare și vei aplica tehnici de optimizare în scenarii realiste de ETL și machine learning.

Accentul din tot cursul este pus pe luarea deciziilor practice: înțelegerea modului de identificare a blocajelor, selectarea instrumentului potrivit, configurarea eficientă a Spark și echilibrarea performanței cu consumul de resurse de infrastructură și costuri.

Acest training condus de un instructor, live în România (online sau la fața locului) este destinat inginerilor care doresc să configureze și să implementeze sistemul Apache Spark pentru procesarea unor volume foarte mari de date.

La sfârșitul acestui training, participanții vor putea:

• Instala și configura Apache Spark.
• Procesare și analiză rapidă a seturilor de date foarte mari.
• Înțelege diferența dintre Apache Spark și Hadoop MapReduce și când să folosească fiecare.
• Integrarea Apache Spark cu alte instrumente de învățare automată.

Acest training live, condus de un instructor, în România (online sau onsite), se adresează administratorilor de sistem la nivel de începători până la intermediari, care doresc să implementeze, să mențină și să optimizeze cluster-e Spark.

La finalul acestui training, participanții vor fi capabili să:

• Instaleze și configureze Apache Spark în diverse medii.
• Gestioneze resursele cluster-ului și să monitorizeze aplicațiile Spark.
• Optimizeze performanța cluster-elor Spark.
• Implementeze măsuri de securitate și să asigure high availability.
• Depaneze și rezolve problemele comune legate de Spark.

În acest training live, condus de un instructor, în România, vei învăța cum să folosești Python și Spark împreună pentru a analiza big data, lucrând la exerciții practice.

La finalul acestui training, vei fi capabil/ă să:

• să folosești Spark cu Python pentru a analiza Big Data;
• să lucrezi la exerciții care imită cazuri din viața reală;
• să utilizezi diverse unelte și tehnici pentru analiza big data folosind PySpark.

Acest training condus de un instructor, live în România (online sau la fața locului) este destinat dezvoltatorilor care doresc să utilizeze și să integreze Spark, Hadoop și Python pentru a procesa, analiza și transforma seturi de date mari și complexe.

La sfârșitul acestui training, participanții vor putea:

• Să configureze mediul necesar pentru a începe procesarea datelor mari cu Spark, Hadoop și Python.
• Să înțeleagă caracteristicile, componentele de bază și arhitectura Spark și Hadoop.
• Să învețe cum să integreze Spark, Hadoop și Python pentru procesarea datelor mari.
• Să exploreze instrumentele din ecosistemul Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka și Flume).
• Să construiască sisteme de recomandare bazate pe filtrare colaborativă asemănătoare cu cele de la Netflix, YouTube, Amazon, Spotify și Google.
• Să utilizeze Apache Mahout pentru a scala algoritmii de învățare automată.