Curs de pregatire Procesarea Datelor în Timp Real și Fluxul de Date

Publicul țintă:

Cursul este destinat specialiștilor IT care caută o soluție pentru stocarea și procesarea seturilor mari de date într-un mediu de sistem distribuit

Obiectiv:

Dobândirea de cunoștințe aprofundate despre administrarea clusterelor Hadoop.

Acest training condus de un instructor, live în România (online sau la fața locului), este destinat specialiștilor și inginerilor de date de nivel intermediar care doresc să utilizeze Google Colab și Apache Spark pentru procesarea și analiza datelor mari.

La sfârșitul acestui training, participanții vor putea:

• Să configureze un mediu de lucru pentru date mari folosind Google Colab și Spark.
• Să proceseze și să analizeze eficient seturi mari de date cu Apache Spark.
• Să vizualizeze date mari într-un mediu colaborativ.
• Să integreze Apache Spark cu instrumente bazate pe cloud.

Analiza Big Data implică procesul de examinare a unor cantități mari de seturi de date variate pentru a descoperi corelații, modele ascunse și alte informații utile.

Industria sănătății dispune de volume uriașe de date medicale și clinice complexe și eterogene. Aplicarea analizei Big Data pe datele din domeniul sănătății prezintă un potențial enorm în obținerea de informații pentru îmbunătățirea furnizării de servicii medicale. Cu toate acestea, amploarea acestor seturi de date aduce mari provocări în analize și aplicații practice într-un mediu clinic.

În acest training condus de un instructor, live (la distanță), participanții vor învăța cum să efectueze analize Big Data în domeniul sănătății, parcurgând o serie de exerciții practice în laborator.

La sfârșitul acestui training, participanții vor putea:

• Instala și configura instrumente de analiză Big Data, cum ar fi Hadoop MapReduce și Spark
• Înțelege caracteristicile datelor medicale
• Aplica tehnici Big Data pentru a gestiona date medicale
• Studia sisteme și algoritmi Big Data în contextul aplicațiilor din sănătate

Publicul țintă

• Dezvoltatori
• Specialiști în Știința Datelor

Formatul cursului

• Parte teoretică, parte discuții, exerciții și practică intensivă.

Notă

• Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Apache Hadoop este cel mai popular cadru pentru procesarea Big Data pe clustere de servere. În acest curs de trei (opțional, patru) zile, participanții vor învăța despre beneficiile și cazurile de utilizare ale Hadoop și ale ecosistemului său, cum să planifice implementarea și creșterea clusterului, cum să instaleze, să întrețină, să monitorizeze, să depaneze și să optimizeze Hadoop. De asemenea, vor exersa încărcarea masivă de date în cluster, se vor familiariza cu diverse distribuții Hadoop și vor exersa instalarea și gestionarea instrumentelor din ecosistemul Hadoop. Cursul se încheie cu o discuție despre securizarea clusterului cu Kerberos.

“…Materialele au fost foarte bine pregătite și acoperite pe larg. Laboratorul a fost foarte util și bine organizat”
— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Audiență

Administratori Hadoop

Format

Prelegeri și laboratoare practice, echilibru aproximativ 60% prelegeri, 40% laboratoare.

Apache Hadoop este cel mai popular framework pentru procesarea de Big Data pe clustere de servere. Acest curs îi va prezenta unui dezvoltator diverse componente (HDFS, MapReduce, Pig, Hive și HBase) ale ecosistemului Hadoop.

Apache Hadoop este unul dintre cele mai populare framework-uri pentru procesarea Big Data pe clustere de servere. Acest curs explorează gestionarea datelor în HDFS, precum și aspecte avansate ale Pig, Hive și HBase. Aceste tehnici avansate de programare vor fi benefice pentru dezvoltatorii experimentați de Hadoop.

Public țintă: dezvoltatori

Durata: trei zile

Format: prelegeri (50%) și laboratoare practice (50%).

Publicul țintă:

Acest curs are ca scop să demistifice tehnologia big data/hadoop și să arate că nu este greu de înțeles.

Acest training condus de un instructor, live în România (online sau la fața locului) este destinat administratorilor de sistem care doresc să învețe cum să configureze, să implementeze și să gestioneze clustere Hadoop în organizația lor.

La finalul acestui training, participanții vor putea:

• Instala și configura Apache Hadoop.
• Înțelege cele patru componente majore ale ecosistemului Hadoop: HDFS, MapReduce, YARN și Hadoop Common.
• Utiliza Hadoop Distributed File System (HDFS) pentru a scala un cluster la sute sau mii de noduri.  
• Configura HDFS să funcționeze ca motor de stocare pentru implementările Spark on-premise.
• Configura Spark pentru a accesa soluții alternative de stocare, cum ar fi Amazon S3 și sisteme de baze de date NoSQL precum Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Efectua sarcini administrative, cum ar fi provizionarea, gestionarea, monitorizarea și securizarea unui cluster Apache Hadoop.

Acest curs introduce HBase – un magazin NoSQL pe baza Hadoop. Cursul este destinat dezvoltatorilor care vor folosi HBase pentru a dezvolta aplicații și administratorilor care vor gestiona clustere HBase.

Vom ghida un dezvoltator prin arhitectura HBase, modelarea datelor și dezvoltarea aplicațiilor pe HBase. De asemenea, vom discuta despre utilizarea MapReduce cu HBase și câteva subiecte de administrare legate de optimizarea performanței. Cursul este foarte practic, cu multe exerciții de laborator.

Durata: 3 zile

Public țintă: Dezvoltatori și Administratori

Apache NiFi este o platformă open-source, bazată pe flux, pentru integrarea datelor și procesarea evenimentelor. Permite rutarea, transformarea și medierea automată a datelor în timp real între sisteme disparate, cu o interfață web și control detaliat.

Această instruire condusă de un instructor, în format live (pe fața locului sau la distanță), este destinată administratorilor și inginerilor de nivel intermediar care doresc să implementeze, să gestioneze, să securizeze și să optimizeze fluxurile de date NiFi în medii de producție.

La finalul acestei instruiri, participanții vor putea:

• Să instaleze, să configureze și să întrețină clustere Apache NiFi.
• Să proiecteze și să gestioneze fluxuri de date din surse și destinații variate.
• Să implementeze automatizarea fluxurilor, rutarea și logica de transformare.
• Să optimizeze performanța, să monitorizeze operațiunile și să depaneze probleme.

Formatul Cursului

• Prezentare interactivă cu discuții despre arhitecturi din lumea reală.
• Laboratoare practice: construirea, implementarea și gestionarea fluxurilor.
• Exerciții bazate pe scenarii într-un mediu de laborator live.

Opțiuni de Personalizare a Cursului

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.

În acest training condus de un instructor, participanții vor învăța elementele de bază ale programării bazate pe fluxuri, dezvoltând o serie de extensii demo, componente și procesoare folosind Apache NiFi.

La sfârșitul acestui training, participanții vor putea:

• Să înțeleagă arhitectura NiFi și conceptele de flux de date.
• Să dezvolte extensii folosind NiFi și API-uri ale terților.
• Să dezvolte propriul procesor Apache NiFi.
• Să ingere și să proceseze date în timp real din formate de fișiere și surse de date diverse și neobișnuite.

Acest training oferă o introducere practică în construirea de fluxuri de lucru scalabile de procesare a datelor și Machine Learning folosind PySpark. Participanții vor învăța cum funcționează Apache Spark în ecosistemele moderne de Big Data și cum să proceseze eficient seturi mari de date folosind principiile calculului distribuit.

În acest training condus de un instructor, în format live în România, participanții vor învăța cum să folosească împreună Python și Spark pentru a analiza date mari, lucrând la exerciții practice.

La finalul acestui training, participanții vor fi capabili să:

• Învețe cum să folosească Spark cu Python pentru a analiza date mari.
• Lucreze la exerciții care imită cazuri din lumea reală.
• Folosească diferite instrumente și tehnici pentru analiza datelor mari folosind PySpark.

Acest training condus de un instructor, live în România (online sau la fața locului) este destinat dezvoltatorilor care doresc să utilizeze și să integreze Spark, Hadoop și Python pentru a procesa, analiza și transforma seturi de date mari și complexe.

La sfârșitul acestui training, participanții vor putea:

• Să configureze mediul necesar pentru a începe procesarea datelor mari cu Spark, Hadoop și Python.
• Să înțeleagă caracteristicile, componentele de bază și arhitectura Spark și Hadoop.
• Să învețe cum să integreze Spark, Hadoop și Python pentru procesarea datelor mari.
• Să exploreze instrumentele din ecosistemul Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka și Flume).
• Să construiască sisteme de recomandare bazate pe filtrare colaborativă asemănătoare cu cele de la Netflix, YouTube, Amazon, Spotify și Google.
• Să utilizeze Apache Mahout pentru a scala algoritmii de învățare automată.

Stratio este o platformă centrată pe date care integrează big data, inteligența artificială și guvernanța într-o singură soluție. Modulele sale Rocket și Intelligence permit explorarea rapidă a datelor, transformarea și analiza avansată în medii enterprise.

Această sesiune de formare condusă de un instructor (online sau la fața locului) este destinată profesioniștilor de date de nivel intermediar care doresc să utilizeze eficient modulele Rocket și Intelligence din Stratio cu PySpark, concentrându-se pe structuri de buclă, funcții definite de utilizator și logica avansată a datelor.

La finalul acestei formări, participanții vor putea:

• Să navigheze și să lucreze în platforma Stratio folosind modulele Rocket și Intelligence.
• Să aplice PySpark în contextul ingerării, transformării și analizei datelor.
• Să utilizeze bucle și logică condițională pentru a controla fluxurile de date și sarcinile de inginerie a caracteristicilor.
• Să creeze și să gestioneze funcții definite de utilizator (UDF) pentru operații reutilizabile de date în PySpark.

Formatul cursului

• Prelegere interactivă și discuții.
• Multe exerciții și practică.
• Implementare practică într-un mediu live-lab.

Opțiuni de personalizare a cursului

• Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.