Big Data Formare în România

Acest training condus de un instructor, live în România (online sau la fața locului), este destinat specialiștilor și inginerilor de date de nivel intermediar care doresc să utilizeze Google Colab și Apache Spark pentru procesarea și analiza datelor mari.

La sfârșitul acestui training, participanții vor putea:

• Să configureze un mediu de lucru pentru date mari folosind Google Colab și Spark.
• Să proceseze și să analizeze eficient seturi mari de date cu Apache Spark.
• Să vizualizeze date mari într-un mediu colaborativ.
• Să integreze Apache Spark cu instrumente bazate pe cloud.

Stratio este o platformă centrată pe date care integrează big data, inteligența artificială și guvernanța într-o singură soluție. Modulele sale Rocket și Intelligence permit explorarea rapidă a datelor, transformarea și analiza avansată în medii enterprise.

Această sesiune de formare condusă de un instructor (online sau la fața locului) este destinată profesioniștilor de date de nivel intermediar care doresc să utilizeze eficient modulele Rocket și Intelligence din Stratio cu PySpark, concentrându-se pe structuri de buclă, funcții definite de utilizator și logica avansată a datelor.

La finalul acestei formări, participanții vor putea:

• Să navigheze și să lucreze în platforma Stratio folosind modulele Rocket și Intelligence.
• Să aplice PySpark în contextul ingerării, transformării și analizei datelor.
• Să utilizeze bucle și logică condițională pentru a controla fluxurile de date și sarcinile de inginerie a caracteristicilor.
• Să creeze și să gestioneze funcții definite de utilizator (UDF) pentru operații reutilizabile de date în PySpark.

Formatul cursului

• Prelegere interactivă și discuții.
• Multe exerciții și practică.
• Implementare practică într-un mediu live-lab.

Opțiuni de personalizare a cursului

• Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Data Warehousing este practica de proiectare, construcție și operare a depozitelor de date centralizate care sprijină analiza, raportarea și luarea deciziilor.

Această formare condusă de un instructor, live (online sau la fața locului), este destinată profesioniștilor de date de nivel intermediar care doresc să modeleze date dimensionale, să construiască conducte ETL robuste și să optimizeze sarcinile analitice.

La finalul acestei formări, participanții vor putea:

• Să explice conceptele și arhitecturile de bază ale Data Warehousing.
• Să proiecteze modele dimensionale și să aleagă între schemele star și snowflake.
• Să construiască și să orchestreze conducte ETL și ELT în mod fiabil.
• Să diferențieze între sarcinile OLTP și OLAP și să optimizeze pentru analize.

Formatul cursului

• Prelegere interactivă și discuții.
• Multe exerciții și practică.
• Implementare practică într-un mediu live-lab.

Opțiuni de personalizare a cursului

• Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Participanții care finalizează acest training condus de un instructor, în format live, în România vor dobândi o înțelegere practică și aplicabilă în lumea reală a Big Data și a tehnologiilor, metodelor și instrumentelor asociate.

Participanții vor avea ocazia să pună în practică aceste cunoștințe prin exerciții practice. Interacțiunea în grup și feedback-ul instructorului constituie o componentă importantă a cursului.

Cursul începe cu o introducere în conceptele de bază ale Big Data, apoi trece la limbajele de programare și metodele utilizate pentru efectuarea Analizei Datelor. În final, vom discuta despre instrumentele și infrastructura care permit stocarea Big Data, Prelucrarea Distribuită și Scalabilitatea.

Greenplum este o platformă de date open-source cu procesare paralelă masivă (MPP), proiectată pentru analize și medii de date la scară largă.

Această formare condusă de un instructor, live (online sau la fața locului), este destinată utilizatorilor tehnici de nivel intermediar până la avansat care doresc să înțeleagă arhitectura internă a Greenplum, să construiască modele de date optimizate și să aplice SQL de înaltă performanță în medii distribuite.

La sfârșitul acestei formări, participanții vor putea:

• Înțelege arhitectura shared-nothing și modelul de paralelism al Greenplum.
• Proiecta structuri de tabele distribuite și partiții optimizate pentru performanța interogărilor.
• Utiliza strategii de indexare, formate de stocare și tehnici de proiectare fizică.
• Interpreta planurile EXPLAIN și optimiza interogările folosind cele mai bune practici.

Formatul Cursului

• Prelegere interactivă și discuții.
• Multe exerciții și practică.
• Implementare practică într-un mediu live-lab.

Opțiuni de Personalizare a Cursului

• Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Greenplum este o platformă de date open-source masiv paralelă, bazată pe PostgreSQL, proiectată pentru analize avansate și depozitarea de date la scară largă.

Acest training condus de un instructor, live (online sau la fața locului), este destinat administratorilor de nivel intermediar care doresc să instaleze, să configureze și să gestioneze eficient medii Greenplum, inclusiv gestionarea actualizărilor de sistem și a bibliotecilor.

La finalul acestui training, participanții vor putea:

• Instala și configura un cluster Greenplum pregătit pentru producție.
• Gestiona actualizările de sistem și aplica patch-uri în siguranță.
• Gestiona bibliotecile Greenplum pentru analize și extensii.
• Depana și monitoriza sistemele Greenplum.

Formatul Cursului

• Prelegere interactivă și discuții.
• Utilizare practică a Greenplum într-un mediu de laborator controlat.
• Exerciții ghidate axate pe configurarea clusterului, fluxurile de actualizare și extensiile de sistem.

Opțiuni de Personalizare a Cursului

• Pentru a solicita un training personalizat pentru acest curs, bazat pe mediul sau platforma dvs. de date, vă rugăm să ne contactați pentru a aranja.

Această instruire condusă de instructor, live, în România (online sau on-site), este destinată profesionistilor avansați în domeniul datelor care doresc să optimizeze fluxurile de lucru de procesare a datelor, să asigure integritatea datelor și să implementeze soluții robuste pentru data lakehouse care pot gestiona complexitățile aplicațiilor moderne cu date mari.

La finalul acestei instruirile, participanții vor putea:

• Obține o înțelegere adâncă a arhitecturii Iceberg, inclusiv gestionarea metadatelor și structura fișierelor.
• Configurează Iceberg pentru performanță optimizată în diverse medii și integrează-l cu multiple motoare de procesare a datelor.
• Gestionează tabelele Iceberg la scară largă, efectuează schimbări complexe ale schemei și gestionează evoluția partițiilor.
• Învăță tehniciile pentru optimizarea performanței interogărilor și eficienței scanării datelor pentru seturi de date la scară largă.
• Implementează mecanisme pentru asigurarea consecvenței datelor, gestionarea garanțiilor tranzacționale și gestionarea eșecurilor în medii distribuite.

Această instruire guvernată de instructor, live, în România (online sau prezentă la fața locului) este destinată profesionalilor de date la nivel începător care doresc să dobândească cunoștințele și abilitățile necesare pentru a utiliza cu eficiență Apache Iceberg în gestionarea seturilor de date de mari dimensiuni, asigurarea integrității datelor și optimizarea fluxurilor de lucru de procesare a datelor.

La finalul acestei instruirile, participanții vor putea:

• A înțelege pe deplin arhitectura, caracteristicile și beneficiile Apache Iceberg.
• Aflați despre formatele de tabel, partiționarea, evoluția schemelor și capacitatea de călătorie în timp.
• Instalarea și configurarea Apache Iceberg în diferite medii.
• Crearea, gestionarea și manipularea tabelelor Iceberg.
• Înțelegerea procesului de migrare a datelor din alte formate de tabel în Iceberg.

Această formare condusă de un instructor, live în România (online sau la fața locului) este destinată profesioniștilor IT de nivel intermediar care doresc să-și îmbunătățească abilitățile în arhitectura datelor, guvernanța datelor, cloud computing și tehnologiile big data pentru a gestiona și analiza eficient seturi de date mari pentru migrarea datelor în cadrul organizațiilor lor.

La finalul acestei formări, participanții vor putea:

• Înțelege conceptele și componentele fundamentale ale diferitelor arhitecturi de date.
• Dobândi o înțelegere cuprinzătoare a principiilor de guvernanță a datelor și a importanței lor în mediile de reglementare.
• Implementa și gestiona cadre de guvernanță a datelor precum Dama și Togaf.
• Valorifica platformele cloud pentru stocarea, procesarea și gestionarea eficientă a datelor.

Această instruire condusă de un instructor, live în România (online sau la fața locului) este destinată inginerilor de date de nivel intermediar care doresc să învețe cum să utilizeze Azure Data Lake Storage Gen2 pentru soluții eficiente de analiză a datelor.

La sfârșitul acestei instruiri, participanții vor putea:

• Să înțeleagă arhitectura și caracteristicile cheie ale Azure Data Lake Storage Gen2.
• Să optimizeze stocarea și accesul la date pentru costuri și performanță.
• Să integreze Azure Data Lake Storage Gen2 cu alte servicii Azure pentru analiză și procesare de date.
• Să dezvolte soluții folosind API-ul Azure Data Lake Storage Gen2.
• Să depaneze probleme comune și să optimizeze strategiile de stocare.

Acest training condus de un instructor, live în România (online sau la fața locului) este destinat dezvoltatorilor care doresc să utilizeze și să integreze Spark, Hadoop și Python pentru a procesa, analiza și transforma seturi de date mari și complexe.

La sfârșitul acestui training, participanții vor putea:

• Să configureze mediul necesar pentru a începe procesarea datelor mari cu Spark, Hadoop și Python.
• Să înțeleagă caracteristicile, componentele de bază și arhitectura Spark și Hadoop.
• Să învețe cum să integreze Spark, Hadoop și Python pentru procesarea datelor mari.
• Să exploreze instrumentele din ecosistemul Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka și Flume).
• Să construiască sisteme de recomandare bazate pe filtrare colaborativă asemănătoare cu cele de la Netflix, YouTube, Amazon, Spotify și Google.
• Să utilizeze Apache Mahout pentru a scala algoritmii de învățare automată.

Big Data și Analiză Avansată reprezintă aplicarea unor tehnici și instrumente sofisticate pentru a analiza seturi de date mari și complexe, în scopul obținerii de informații acționabile și de luare a deciziilor strategice.

Această instruire condusă de un instructor, live (online sau la fața locului), este destinată profesioniștilor avansați în domeniul datelor care doresc să valorifice metode analitice de ultimă oră și tehnologii de big data pentru analize predictive, prescriptive și în timp real.

La finalul acestei instruiri, participanții vor putea:

• Proiecta și implementa fluxuri de procesare a datelor la scară largă pentru date structurate și nestructurate.
• Aplica tehnici avansate de învățare automată și învățare profundă pe seturi de date masive.
• Folosi cadre de calcul distribuit pentru analize în timp real și fluxuri de date.
• Integra analiza big data în sistemele de inteligență de afaceri și de luare a deciziilor.

Formatul cursului

• Prelegere interactivă și discuții.
• Multe exerciții și practică.
• Implementare practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Această instruire condusă de instructor (online sau pe loc) este destinată profesioniștilor IT la nivel intermediar care doresc să aibă o înțelegere completă a IBM DataStage din ambele perspective, administrativ și de dezvoltare, pentru a putea gestiona și utiliza acest instrument eficient în locurile lor de muncă.

La finalul acestei instruire, participanții vor fi capabili să:

• Înțeleagă conceptele de bază ale DataStage.
• Întalnească cum să instaleze, configureze și gestioneze eficient mediile DataStage.
• Se conecteze la diverse surse de date și extragă date eficient din baze de date, fișiere text și surse externe.
• Implementeze tehnicii eficiente de încărcare a datelor.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează administratorilor de sistem de nivel începător sau intermediar care doresc să implementeze, să mențină și să optimizeze clusterele Spark.

La finalul acestui curs de formare, participanții vor fi capabili să:

• Să instaleze și să configureze Apache Spark în diverse medii.
• Să gestioneze resursele clusterului și să monitorizeze aplicațiile Spark.
• Să optimizeze performanța clusterelor Spark.
• Să implementeze măsuri de securitate și să asigure o disponibilitate ridicată.
• Depanarea și rezolvarea problemelor comune ale Spark.

Participanții care finalizează acest training condus de un instructor în România vor dobândi o înțelegere practică și aplicabilă în lumea reală a conceptelor de Big Data și a tehnologiilor, metodologiilor și instrumentelor aferente.

Participanții vor avea ocazia să își pună în practică cunoștințele prin exerciții practice. Interacțiunea de grup și feedback-ul instructorului constituie componente importante ale cursului.

Cursul începe cu o introducere în conceptele elementare ale Big Data, apoi trece în revistă limbajele de programare și metodologiile utilizate pentru a efectua analiza datelor. În cele din urmă, vom discuta despre instrumentele și infrastructura care permit stocarea Big Data, procesarea distribuită și scalabilitatea.

În acest training condus de un instructor, în format live în România, participanții vor învăța cum să folosească împreună Python și Spark pentru a analiza date mari, lucrând la exerciții practice.

La finalul acestui training, participanții vor fi capabili să:

• Învețe cum să folosească Spark cu Python pentru a analiza date mari.
• Lucreze la exerciții care imită cazuri din lumea reală.
• Folosească diferite instrumente și tehnici pentru analiza datelor mari folosind PySpark.

Publicul țintă:

Cursul este destinat specialiștilor IT care caută o soluție pentru stocarea și procesarea seturilor mari de date într-un mediu de sistem distribuit

Obiectiv:

Dobândirea de cunoștințe aprofundate despre administrarea clusterelor Hadoop.

Avansurile tehnologice și cantitatea tot mai mare de informații transformă modul în care se desfășoară afacerile în multe industrii, inclusiv în sectorul guvernamental. Generarea de date guvernamentale și ratele de arhivare digitală sunt în creștere datorită creșterii rapide a dispozitivelor și aplicațiilor mobile, senzorilor și dispozitivelor inteligente, soluțiilor de cloud computing și portalelor pentru cetățeni. Pe măsură ce informațiile digitale se extind și devin mai complexe, gestionarea, procesarea, stocarea, securitatea și eliminarea informațiilor devin, de asemenea, mai complexe. Noi instrumente de captură, căutare, descoperire și analiză ajută organizațiile să obțină informații valoroase din datele lor nestructurate. Piața guvernamentală se află într-un punct de cotitură, realizând că informația este un activ strategic, iar guvernul trebuie să protejeze, să valorifice și să analizeze atât informațiile structurate, cât și pe cele nestructurate pentru a servi mai bine și a îndeplini cerințele misiunii. Pe măsură ce liderii guvernamentali se străduiesc să dezvolte organizații bazate pe date pentru a îndeplini cu succes misiunile, ei pun bazele pentru corelarea dependențelor dintre evenimente, oameni, procese și informații.

Soluțiile guvernamentale de mare valoare vor fi create din amestecul celor mai disruptice tehnologii:

• Dispozitive și aplicații mobile
• Servicii de cloud
• Tehnologii și rețele de business social
• Date Mari și analitice

Datele Mari sunt una dintre soluțiile inteligente ale industriei și permit guvernului să ia decizii mai bune acționând pe baza modelelor dezvăluite prin analiza unor volume mari de date — legate și nelegate, structurate și nestructurate.

Dar realizarea acestor realizări necesită mult mai mult decât simpla acumulare a unor cantități masive de date. „Înțelegerea acestor volume de Date Mari necesită instrumente și tehnologii de ultimă oră care să analizeze și să extragă cunoștințe utile din fluxuri vaste și diverse de informații”, au scris Tom Kalil și Fen Zhao de la Biroul pentru Știință și Tehnologie al Casei Albe într-un post pe blogul OSTP.

Casa Albă a făcut un pas către ajutarea agențiilor în găsirea acestor tehnologii atunci când a înființat Inițiativa Națională de Cercetare și Dezvoltare pe Date Mari în 2012. Inițiativa a inclus peste 200 de milioane de dolari pentru a valorifica la maxim explozia Datelor Mari și instrumentele necesare pentru a le analiza.

Provocările pe care le prezintă Datele Mari sunt aproape la fel de descurajante pe cât este de încurajatoare promisiunea lor. Stocarea eficientă a datelor este una dintre aceste provocări. Ca întotdeauna, bugetele sunt limitate, așa că agențiile trebuie să minimizeze costul pe megabyte al stocării și să păstreze datele ușor accesibile, astfel încât utilizatorii să le poată obține atunci când doresc și în modul de care au nevoie. Salvarea unor cantități masive de date amplifică provocarea.

Analiza eficientă a datelor este o altă provocare majoră. Multe agenții utilizează instrumente comerciale care le permit să sifice printre muntii de date, identificând tendințe care le pot ajuta să funcționeze mai eficient. (Un studiu recent realizat de MeriTalk a constatat că executivii IT federali consideră că Datele Mari ar putea ajuta agențiile să economisească peste 500 de miliarde de dolari, îndeplinind, în același timp, obiectivele misiunii.).

Instrumentele personalizate pentru Date Mari permit, de asemenea, agențiilor să răspundă nevoii de a-și analiza datele. De exemplu, Grupul de Analiză Computațională a Datelor de la Laboratorul Național Oak Ridge a pus la dispoziția altor agenții sistemul său de analiză a datelor Piranha. Sistemul a ajutat cercetătorii medicali să găsească o legătură care poate alerta medicii despre aneurismele aortice înainte ca acestea să se declanșeze. Este, de asemenea, utilizat pentru sarcini mai mundane, cum ar fi sortarea CV-urilor pentru a conecta candidații cu managerii de angajare.

Ziua 1 - oferă o privire de ansamblu de nivel înalt asupra domeniilor esențiale ale Big Data. Modulul este împărțit într-o serie de secțiuni, fiecare fiind însoțită de un exercițiu practic.

Ziua 2 - explorează o gamă de subiecte legate de practicile și instrumentele de analiză pentru mediile Big Data. Nu intră în detalii de implementare sau programare, ci rămâne la un nivel conceptual, concentrându-se pe subiecte care permit participanților să dezvolte o înțelegere cuprinzătoare a funcțiilor și caracteristicilor comune de analiză oferite de soluțiile Big Data.

Ziua 3 - oferă o privire de ansamblu asupra domeniilor fundamentale și esențiale legate de arhitectura platformelor de soluții Big Data. Acoperă mecanismele Big Data necesare pentru dezvoltarea unei platforme de soluții Big Data și opțiunile arhitecturale pentru asamblarea unei platforme de procesare a datelor. Sunt prezentate și scenarii comune pentru a oferi o înțelegere de bază a modului în care este utilizată în general o platformă de soluții Big Data.

Ziua 4 - continuă de la Ziua 3, explorând subiecte avansate legate de arhitectura platformelor de soluții Big Data. În special, sunt introduse și discutate diferite straturi arhitecturale care compun platforma de soluții Big Data, inclusiv surse de date, ingerare de date, stocare de date, procesare de date și securitate.

Ziua 5 - acoperă o serie de exerciții și probleme concepute pentru a testa capacitatea participanților de a aplica cunoștințele dobândite în Zilele 3 și 4.

Analiza Big Data implică procesul de examinare a unor cantități mari de seturi de date variate pentru a descoperi corelații, modele ascunse și alte informații utile.

Industria sănătății dispune de volume uriașe de date medicale și clinice complexe și eterogene. Aplicarea analizei Big Data pe datele din domeniul sănătății prezintă un potențial enorm în obținerea de informații pentru îmbunătățirea furnizării de servicii medicale. Cu toate acestea, amploarea acestor seturi de date aduce mari provocări în analize și aplicații practice într-un mediu clinic.

În acest training condus de un instructor, live (la distanță), participanții vor învăța cum să efectueze analize Big Data în domeniul sănătății, parcurgând o serie de exerciții practice în laborator.

La sfârșitul acestui training, participanții vor putea:

• Instala și configura instrumente de analiză Big Data, cum ar fi Hadoop MapReduce și Spark
• Înțelege caracteristicile datelor medicale
• Aplica tehnici Big Data pentru a gestiona date medicale
• Studia sisteme și algoritmi Big Data în contextul aplicațiilor din sănătate

Publicul țintă

• Dezvoltatori
• Specialiști în Știința Datelor

Formatul cursului

• Parte teoretică, parte discuții, exerciții și practică intensivă.

Notă

• Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.

În acest training condus de un instructor, în direct în România, participanții vor învăța mentalitatea necesară pentru a aborda tehnologiile Big Data, să le evalueze impactul asupra proceselor și politicilor existente și să implementeze aceste tehnologii în scopul identificării activităților criminale și prevenirii infracțiunilor. Vor fi examinate studii de caz din organizațiile de aplicare a legii din întreaga lume pentru a obține informații despre abordările lor de adoptare, provocări și rezultate.

La finalul acestui training, participanții vor fi capabili să:

• Combineze tehnologia Big Data cu procesele tradiționale de colectare a datelor pentru a reconstitui o poveste în timpul unei investigații.
• Implementeze soluții industriale de stocare și procesare a datelor mari pentru analiza datelor.
• Pregătească o propunere pentru adoptarea celor mai adecvate instrumente și procese pentru a permite o abordare bazată pe date în investigațiile criminale.

Big Data este un termen care se referă la soluții destinate stocării și procesării unor seturi mari de date. Dezvoltat inițial de Google, aceste soluții Big Data au evoluat și au inspirat alte proiecte similare, multe dintre acestea fiind disponibile ca open-source. R este un limbaj de programare popular în industria financiară.

Atunci când tehnologiile tradiționale de stocare nu fac față cantității de date pe care trebuie să o stocați, există sute de alternative. Acest curs încearcă să ghideze participanții în ceea ce privește alternativele de stocare și analiză Big Data și care sunt avantajele și dezavantajele acestora.

Acest curs este axat în principal pe discuții și prezentarea de soluții, deși exercițiile practice sunt disponibile la cerere.

Cursul face parte din setul de competențe al Specialistului în Date (Domeniu: Date și Tehnologie).

Acest curs bazat pe prezență fizică va explora conceptele de Big Data. Participanții vor lucra cu exemple pe calculator și exerciții de studiu de caz folosind instrumente relevante de Big Data.

Public

Dacă încercați să înțelegeți din datele pe care aveți acces la sau doriți să analizați datele nestructurate disponibile pe net (cum ar fi Twitter, Linked in, etc ...), acest curs este pentru dvs.

Se adresează în special factorilor de decizie și persoanelor care au nevoie să aleagă ce date merită să fie colectate și ce merită analizat.

Nu este destinat persoanelor care configurează soluția, dar acești oameni vor beneficia de imaginea de ansamblu.

Modul de livrare

În timpul cursului, delegații vor fi prezentați cu exemple de lucru ale tehnologiilor cu sursă în mare parte.

Prelegerile scurte vor fi urmate de prezentări și de exerciții simple de către participanți

Conținutul și software-ul folosit

Tot software-ul folosit este actualizat de fiecare dată când cursul este rulat, așa că verificăm cele mai noi versiuni posibile.

Acesta acoperă procesul de obținere, formatare, prelucrare și analiză a datelor, pentru a explica modul de automatizare a procesului de luare a deciziilor cu învățarea în mașină.

Big data se referă la seturi de date atât de voluminoase și complexe încât software-urile tradiționale de procesare a datelor sunt inadecvate pentru a le gestiona. Provocările big data includ capturarea datelor, stocarea datelor, analiza datelor, căutarea, partajarea, transferul, vizualizarea, interogarea, actualizarea și confidențialitatea informațiilor.

Apache Hadoop este cadrul de lucru cel mai popular pentru procesarea Big Data pe clustere de servere. În acest curs cu o durată de trei zile (opțional, patru), participanții vor învăța despre beneficiile comerciale și cazurile de utilizare ale Hadoop și al ecoului său, cum să planteze și crească clusterele, cum să instaleze, mențină, monitoreze, rezolve probleme și optimiză Hadoop. De asemenea, vor practica încarcarea de date în bulk pe cluster, se vor familiariza cu diverse distribuții ale lui Hadoop, și vor practica instalarea și gestionarea unor instrumente din ecoulul său. Cursul se termină cu o discuție despre siguranța clusterei prin utilizarea Kerberos.

“...Materialele au fost foarte bine pregătite și amintire greită. Laboratorul a fost foarte util și bine organizat”— Andrew Nguyen, Inginer de Integrare DW Principal, Microsoft Online Advertising

Publicul țintă

Administrаторii Hadoop

Format

Predarea teoretică și laborator, echilibru aproximativ 60% predare, 40% practic.

Apache Hadoop este cel mai popular framework pentru procesarea de Big Data pe clustere de servere. Acest curs îi va prezenta unui dezvoltator diverse componente (HDFS, MapReduce, Pig, Hive și HBase) ale ecosistemului Hadoop.

Apache Hadoop este unul dintre cele mai populare framework-uri pentru procesarea Big Data pe clustere de servere. Acest curs explorează gestionarea datelor în HDFS, precum și aspecte avansate ale Pig, Hive și HBase. Aceste tehnici avansate de programare vor fi benefice pentru dezvoltatorii experimentați de Hadoop.

Public țintă: dezvoltatori

Durata: trei zile

Format: prelegeri (50%) și laboratoare practice (50%).

Publicul țintă:

Acest curs are ca scop să demistifice tehnologia big data/hadoop și să arate că nu este greu de înțeles.

Acest training condus de un instructor, live în România (online sau la fața locului) este destinat administratorilor de sistem care doresc să învețe cum să configureze, să implementeze și să gestioneze clustere Hadoop în organizația lor.

La finalul acestui training, participanții vor putea:

• Instala și configura Apache Hadoop.
• Înțelege cele patru componente majore ale ecosistemului Hadoop: HDFS, MapReduce, YARN și Hadoop Common.
• Utiliza Hadoop Distributed File System (HDFS) pentru a scala un cluster la sute sau mii de noduri.  
• Configura HDFS să funcționeze ca motor de stocare pentru implementările Spark on-premise.
• Configura Spark pentru a accesa soluții alternative de stocare, cum ar fi Amazon S3 și sisteme de baze de date NoSQL precum Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Efectua sarcini administrative, cum ar fi provizionarea, gestionarea, monitorizarea și securizarea unui cluster Apache Hadoop.

Acest curs introduce HBase – un magazin NoSQL pe baza Hadoop. Cursul este destinat dezvoltatorilor care vor folosi HBase pentru a dezvolta aplicații și administratorilor care vor gestiona clustere HBase.

Vom ghida un dezvoltator prin arhitectura HBase, modelarea datelor și dezvoltarea aplicațiilor pe HBase. De asemenea, vom discuta despre utilizarea MapReduce cu HBase și câteva subiecte de administrare legate de optimizarea performanței. Cursul este foarte practic, cu multe exerciții de laborator.

Durata: 3 zile

Public țintă: Dezvoltatori și Administratori

În acest training condus de un instructor, live în România (la fața locului sau la distanță), participanții vor învăța cum să configureze și să integreze diferite framework-uri de procesare a fluxurilor de date cu sistemele existente de stocare a datelor mari și cu aplicațiile software și microserviciile conexe.

La sfârșitul acestui training, participanții vor putea:

• Să instaleze și să configureze diferite framework-uri de procesare a fluxurilor de date, cum ar fi Spark Streaming și Kafka Streaming.
• Să înțeleagă și să selecteze cel mai potrivit framework pentru sarcină.
• Să proceseze date continuu, concurent și într-o manieră record-by-record.
• Să integreze soluții de procesare a fluxurilor de date cu baze de date existente, depozite de date, lacuri de date etc.
• Să integreze cea mai potrivită bibliotecă de procesare a fluxurilor de date cu aplicațiile enterprise și microserviciile.

Acest training (online sau la fața locului) condus de instructor este destul pentru persoanele tehnice care doresc să învețe cum să implementeze o strategie de machine learning, maximizând utilizarea datelor mari.

La finalul acestei instruire, participanții vor:

• Înțelege evoluția și tendințele pentru machine learning.
• Cunoaște modul în care machine learning este utilizat în diferite industrii.
• Familiarizarea cu instrumentele, abilitățile și serviciile disponibile pentru implementarea machine learning în cadrul unei organizații.
• Înțelege modul în care machine learning poate fi utilizat pentru a îmbunătăți mining-ul datelor și analiza acestora.
• Învața ce este un backend de date intermediar, și cum este folosit de afaceri.
• Înțelege rolul pe care îl joacă datele mari și aplicațiile inteligente în diferite industrii.

Apache NiFi este o platformă open-source, bazată pe flux, pentru integrarea datelor și procesarea evenimentelor. Permite rutarea, transformarea și medierea automată a datelor în timp real între sisteme disparate, cu o interfață web și control detaliat.

Această instruire condusă de un instructor, în format live (pe fața locului sau la distanță), este destinată administratorilor și inginerilor de nivel intermediar care doresc să implementeze, să gestioneze, să securizeze și să optimizeze fluxurile de date NiFi în medii de producție.

La finalul acestei instruiri, participanții vor putea:

• Să instaleze, să configureze și să întrețină clustere Apache NiFi.
• Să proiecteze și să gestioneze fluxuri de date din surse și destinații variate.
• Să implementeze automatizarea fluxurilor, rutarea și logica de transformare.
• Să optimizeze performanța, să monitorizeze operațiunile și să depaneze probleme.

Formatul Cursului

• Prezentare interactivă cu discuții despre arhitecturi din lumea reală.
• Laboratoare practice: construirea, implementarea și gestionarea fluxurilor.
• Exerciții bazate pe scenarii într-un mediu de laborator live.

Opțiuni de Personalizare a Cursului

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.

În cadrul acestei formări live, condusă de un instructor în România, participanții vor învăța elementele de bază ale programării bazate pe flux pe măsură ce vor dezvolta o serie de extensii, componente și procesoare demonstrative utilizând Apache NiFi.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Să înțeleagă arhitectura NiFi și conceptele de flux de date.
• Să dezvolte extensii utilizând NiFi și API-uri terțe.
• Să își dezvolte propriul procesor Apache Nifi personalizat.
• Să primească și să proceseze date în timp real din formate de fișiere și surse de date disparate și neobișnuite.

Acest training condus de un instructor, live în România (online sau la fața locului) este destinat oamenilor de știință ai datelor care doresc să folosească stiva SMACK pentru a construi platforme de procesare a datelor pentru soluții de big data.

La finalul acestui training, participanții vor putea:

• Să implementeze o arhitectură de pipeline de date pentru procesarea big data.
• Să dezvolte o infrastructură de cluster cu Apache Mesos și Docker.
• Să analizeze date cu Spark și Scala.
• Să gestioneze date nestructurate cu Apache Cassandra.

Această instruire condusă de instructor, live (online sau pe loc) este adresată inginerilor care doresc să configureze și să implementeze sistemul Apache Spark pentru a procesa cantități foarte mari de date.

La finalul acestei instruirile, participanții vor putea:

• Instala și configura Apache Spark.
• Să proceseze și să analizeze rapid cantități foarte mari de date.
• Înțelege diferența dintre Apache Spark și Hadoop MapReduce și când să folosească fiecare.
• Integra Apache Spark cu alte instrumente de machine learning.

Curba de învățare a Apache Spark crește încet la început, fiind nevoie de mult efort pentru a obține primele rezultate. Acest curs își propune să treacă peste această parte dificilă inițială. După parcurgerea acestui curs, participanții vor înțelege elementele de bază ale Apache Spark, vor face distincția clară între RDD și DataFrame, vor învăța API-urile Python și Scala, vor înțelege executoarele și sarcinile etc. De asemenea, urmând cele mai bune practici, acest curs se concentrează puternic pe implementarea în cloud, Databricks și AWS. Studenții vor înțelege, de asemenea, diferențele dintre AWS EMR și AWS Glue, unul dintre cele mai recente servicii Spark oferite de AWS.

AUDIENȚĂ:

Inginer de Date, DevOps, Specialist în Știința Datelor

OBIECTIV:

Acest curs va introduce Apache Spark. Studenții vor învăța cum se integrează Spark în ecosistemul Big Data și cum să folosească Spark pentru analiza datelor. Cursul acoperă shell-ul Spark pentru analiza interactivă a datelor, componentele interne ale Spark, API-urile Spark, Spark SQL, Spark streaming, precum și învățarea automată și GraphX.

PUBLICUL ȚINTĂ:

Dezvoltatori / Analiști de Date

Acest training condus de un instructor, live în România (online sau la fața locului), este destinat specialiștilor în date și dezvoltatorilor care doresc să folosească Spark NLP, construit pe Apache Spark, pentru a dezvolta, implementa și scala modele și pipeline-uri de procesare a textelor în limbaj natural.

La finalul acestui training, participanții vor putea:

• Să configureze mediul de dezvoltare necesar pentru a începe construirea de pipeline-uri NLP cu Spark NLP.
• Să înțeleagă caracteristicile, arhitectura și beneficiile utilizării Spark NLP.
• Să utilizeze modele preantrenate disponibile în Spark NLP pentru a implementa procesarea textelor.
• Să învețe cum să construiască, să antreneze și să scaleze modele Spark NLP pentru proiecte de nivel de producție.
• Să aplice clasificare, inferență și analiză de sentiment pe cazuri de utilizare din lumea reală (date clinice, informații despre comportamentul clienților etc.).

Spark SQL este modulul Apache Spark pentru lucrul cu date structurate și nestructurate. Spark SQL oferă informații despre structura datelor, precum și despre calculul efectuat. Aceste informații pot fi folosite pentru a realiza optimizări. Două utilizări comune pentru Spark SQL sunt:
- executarea interogărilor SQL.
- citirea datelor dintr-o instalare Hive existentă.

În acest training condus de un instructor, live (la fața locului sau la distanță), participanții vor învăța cum să analizeze diverse tipuri de seturi de date folosind Spark SQL.

La sfârșitul acestui training, participanții vor putea:

• Instala și configura Spark SQL.
• Efectua analize de date folosind Spark SQL.
• Interoga seturi de date în diferite formate.
• Vizualiza date și rezultate ale interogărilor.

Formatul cursului

• Curs interactiv și discuții.
• Multe exerciții și practică.
• Implementare practică într-un mediu live-lab.

Opțiuni de personalizare a cursului

• Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Acest training condus de un instructor, live în România (online sau la fața locului) este destinat persoanelor tehnice care doresc să implementeze Talend Open Studio for Big Data pentru a simplifica procesul de citire și procesare a datelor mari.

La finalul acestui training, participanții vor putea:

• Instala și configura Talend Open Studio for Big Data.
• Se conecta la sisteme de date mari precum Cloudera, HortonWorks, MapR, Amazon EMR și Apache.
• Înțelege și configura componentele și conectorii pentru date mari din Open Studio.
• Configura parametri pentru a genera automat cod MapReduce.
• Folosi interfața drag-and-drop a Open Studio pentru a rula job-uri Hadoop.
• Prototipa fluxuri de date mari.
• Automatiza proiecte de integrare a datelor mari.