Big Data Training in România

Participanții care finalizează acest curs de formare live, condus de un instructor în România vor dobândi o înțelegere practică și reală a Big Data și a tehnologiilor, metodologiilor și instrumentelor aferente.

Participanții vor avea ocazia să pună în practică aceste cunoștințe prin exerciții practice. Interacțiunea în grup și feedback-ul instructorului constituie o componentă importantă a cursului.

Cursul începe cu o introducere a conceptelor elementare ale Big Data, apoi progresează în limbajele de programare și metodologiile utilizate pentru a efectua Data Analysis. În cele din urmă, discutăm instrumentele și infrastructura care permit stocarea Big Data, procesarea distribuită și Scalabilitatea.

Greenplum este un platformă de date open-source cu procesare paralelă masivă (MPP) concepută pentru analitice și mediul de date la scară largă.

Acest training live, condus de un instruire (online sau presencial), se adresează utilizatorilor tehnici avansați care doresc să înțeleagă arhitectura internă a Greenplum, să construiască modele de date optimizate și să aplice performanță ridicată SQL în mediile distribuite.

La sfârșitul acestui training, participanții vor putea:

• Să înțeleagă arhitectura fără-împărtășire și modelul de paralelism al Greenplum.
• Să proiecteze structuri de tabele distribuite și partițiuni optimizate pentru performanța consultărilor.
• Să folosească strategii de indexare, formate de stocare și tehnici de design fizic.
• Să interpreteze planurile EXPLAIN și să optimizeze interogațiile folosind cele mai bune practici.

Format al Cursului

• Lecții interactive și discuții.
• Multe exerciții și practică.
• Implementare manuală într-un mediu de laborator live.

Opțiuni de Personalizare a Cursului

• Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a arrangeaza.

Confluent Apache Kafka este un platformă distribuită de streaming evenimente concepută pentru conducte de date cu flux ridicat și rezistență la greșeli, precum și analize în timp real.

Acest antrenament live guițat (online sau pe locație) se adresează administratorilor de sistem intermediari și profesionistelor DevOps care doresc să instaleze, configureze, monitorizeze și să rezolve probleme cu clusterurile Confluent Apache Kafka.

La sfârșitul acestui antrenament, participanții vor putea:

• Să înțeleagă componentele și arhitectura lui Confluent Kafka.
• Să implementeze și să administreze brokere Kafka, quorume Zookeeper și servicii cheie.
• Să configureze funcțiile avansate precum securitatea, replicarea și tunarea performanței.
• Să utilizeze instrumentele de gestionare pentru a monitoriza și menține clusterurile Kafka.

Format al cursului

• Lecțiuni interactive și discuții.
• Multe exerciții și practică.
• Punerea în aplicare prin intermediul unui mediu de laborator live.

Opțiuni pentru personalizarea cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a organiza.

Greenplum este o platformă de date cu paralelism masiv open-source bazată pe PostgreSQL, concepută pentru analize avansate și depozite de date la scară largă.

Acest training sub supravegherea unui instrucțurator (online sau în prezență) este destinat administratorilor cu nivel intermediar care doresc să instaleze, configureze și gestioneze eficient medii Greenplum, inclusiv gestionarea actualizărilor sistemului și a bibliotecilor.

La sfârșitul acestui training, participantii vor putea:

• Instala și configura un cluster de producție Greenplum.
• Gestiona actualizările sistemelor și aplicați parchetele în siguranță.
• Gestiunea bibliotecilor pentru analize și extensii Greenplum.
• Soluționa probleme și monitorizeze sistemele Greenplum.

Format al cursului

• Lecție interactivă și discuție.
• Utilizarea practică a lui Greenplum într-un mediu de laborator controlat.
• Exerciții guiionate cu accent pe configurarea clusterului, fluxurile de actualizare și extensii ale sistemului.

Opțiuni pentru personalizarea cursului

• Pentru a solicita un training personalizat bazat pe mediul sau platforma de date dvs., vă rugăm să ne contactați pentru a aranja.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează profesioniștilor în domeniul datelor de nivel avansat care doresc să optimizeze fluxurile de procesare a datelor, să asigure integritatea datelor și să implementeze soluții robuste de tip data lakehouse care pot face față complexității aplicațiilor moderne de big data.

La finalul acestui curs de formare, participanții vor fi capabili să:

• Înțeleagă în profunzime arhitectura Iceberg, inclusiv gestionarea metadatelor și dispunerea fișierelor.
• Să configureze Iceberg pentru o performanță optimă în diverse medii și să îl integreze cu mai multe motoare de procesare a datelor.
• Să gestioneze tabele Iceberg de mari dimensiuni, să efectueze modificări complexe ale schemei și să gestioneze evoluția partițiilor.
• Stăpâniți tehnicile de optimizare a performanței interogărilor și a eficienței scanării datelor pentru seturi mari de date.
• Implementați mecanisme de asigurare a consistenței datelor, gestionați garanțiile tranzacționale și gestionați eșecurile în mediile distribuite.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează profesioniștilor în domeniul datelor de nivel începător care doresc să dobândească cunoștințele și abilitățile necesare pentru a utiliza în mod eficient Apache Iceberg pentru gestionarea seturilor de date la scară largă, asigurarea integrității datelor și optimizarea fluxurilor de lucru pentru procesarea datelor.

La finalul acestui curs de formare, participanții vor fi capabili să:

• Înțeleagă în profunzime arhitectura, caracteristicile și beneficiile Apache Iceberg.
• Aflați despre formatele de tabele, partiționare, evoluția schemei și capacitățile de călătorie în timp.
• Să instaleze și să configureze Apache Iceberg în diferite medii.
• Să creeze, să gestioneze și să manipuleze tabelele Iceberg.
• Înțelegeți procesul de migrare a datelor din alte formate de tabele către Iceberg.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează profesioniștilor IT de nivel mediu care doresc să își îmbunătățească abilitățile în arhitectura de date, guvernanță, cloud computing și tehnologii de big data pentru a gestiona și analiza în mod eficient seturi mari de date pentru migrarea datelor în cadrul organizațiilor lor.

La finalul acestui curs de formare, participanții vor fi capabili să:

• Să înțeleagă conceptele și componentele fundamentale ale diferitelor arhitecturi de date.
• Să dobândească o înțelegere cuprinzătoare a principiilor de guvernanță a datelor și a importanței acestora în mediile de reglementare.
• Să implementeze și să gestioneze cadre de guvernanță a datelor, cum ar fi Dama și Togaf.
• Să valorifice platformele cloud pentru stocarea, procesarea și gestionarea eficientă a datelor.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează inginerilor de date de nivel mediu care doresc să învețe cum să utilizeze Azure Data Lake Storage Gen2 pentru soluții eficiente de analiză a datelor.

La finalul acestui curs de formare, participanții vor fi capabili să:

• Înțeleagă arhitectura și caracteristicile cheie ale Azure Data Lake Storage Gen2.
• Să optimizeze stocarea și accesul la date pentru costuri și performanță.
• Să integreze Azure Data Lake Storage Gen2 cu alte servicii Azure pentru analiza și procesarea datelor.
• Dezvoltarea de soluții utilizând Azure Data Lake Storage Gen2 API.
• Rezolvați problemele comune și optimizați strategiile de stocare.

Acest curs de instruire live condus de un instructor în România (online sau la fața locului) se adresează profesioniștilor IT de nivel intermediar care doresc să aibă o înțelegere cuprinzătoare a IBM DataStage atât din punct de vedere administrativ, cât și din perspectiva dezvoltării, permițându-le să gestioneze și să utilizeze acest instrument în mod eficient la locul de muncă respectiv.

La finalul acestui curs de formare, participanții vor fi capabili să:

• Să înțeleagă conceptele de bază ale DataStage.
• Să învețe cum să instaleze, să configureze și să gestioneze eficient mediile DataStage.
• Să se conecteze la diverse surse de date și să extragă date în mod eficient din baze de date, fișiere plate și surse externe.
• Să pună în aplicare tehnici eficiente de încărcare a datelor.

Acest training în direct de instruire (online sau presenzial) este destinat profesionistilor intermediari din domeniul big data care doresc să utilizeze Apache Kylin pentru construirea depozitelor de date în timp real și pentru realizarea analizei multidimensionale pe seturi de date la scară largă.

La sfârșitul acestui training, participanții vor putea:

• Să configureze și să instaleze Apache Kylin cu surse de date de streaming în timp real.
• Să proiecteze și să construiască cuburi OLAP pentru atât datele batch, cât și cele de streaming.
• Să efectueze interogații complexe cu latență sub secundă folosind interfața SQL a lui Kylin.
• Să integreze Kylin cu instrumentele BI pentru vizualizarea interactivă a datelor.
• Să optimizeze performanța și să gestioneze resursele eficient în Kylin.

Participanții care finalizează acest curs de instruire live, condus de un instructor, în România vor dobândi o înțelegere practică, din lumea reală a Big Data și a tehnologiilor, metodologiilor și instrumentelor aferente.

Participanții vor avea ocazia de a pune în practică aceste cunoștințe prin exerciții practice. Interacțiunea în grup și feedback-ul instructorului constituie o componentă importantă a cursului.

Cursul începe cu o introducere în conceptele elementare ale Big Data, apoi trece la limbajele de programare și la metodologiile utilizate pentru a efectua analiza datelor. În cele din urmă, se discută despre instrumentele și infrastructura care permit stocarea Big Data, procesarea distribuită și Scalabilitatea.

În cadrul acestui curs de formare live, condus de un instructor în România, participanții vor învăța cum să utilizeze Python și Spark împreună pentru a analiza date mari, pe măsură ce lucrează la exerciții practice.

Până la sfârșitul acestui training, participanții vor fi capabili să:

• Să învețe cum să utilizeze Spark cu Python pentru a analiza Big Data.
• Să lucreze la exerciții care imită cazuri din lumea reală.
• Să utilizeze diferite instrumente și tehnici pentru analiza datelor mari utilizând PySpark.

Acest curs acoperă modul de utilizare a limbajului SQL Hive (AKA: Hive HQL, SQL on Hive , Hive QL) pentru persoanele care extrag date din Hive

Acest training guițit de instrucțurator în România (online sau presensă) se adresează administratorilor intermediarii, dezvoltatorilor și analistilor care dorește să masteze funcționalitățile avansate SQL pentru operațiuni complexe cu date și gestionarea bazelor de date.

La sfârșitul acestui training, participanții vor putea:

• Să efectueze tehnici avansate de interogare folosind uniuni, subinterogări și join-uri complexe.
• Să adauge, actualizeze și șteargă date, tabele, viste și indici cu precizie.
• Să asigure integritatea datelor prin tranzacții și să manipuleze structurile bazei de date.
• Să creeze și să gestioneze eficient bazele de date pentru stocarea robustă a datelor și recuperarea acestora.

Dremio este o platformă de date cu sursă deschisă "self-service" care accelerează căutarea diferitelor tipuri de surse de date. Dremio este integrat cu baze de date relative, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, și alte surse de date. Acesta susține SQL și oferă un UI web pentru întrebări de construcție.

În această instruire directă, participanții vor învăța cum să instaleze, să configureze și să utilizeze Dremio ca un strat unificator pentru instrumentele de analiză a datelor și repositoriile de date de bază.

La sfârșitul cursului, participanții vor putea:

• Instalarea și configurarea Dremio
• Executați întrebări împotriva mai multor surse de date, indiferent de locație, dimensiune sau structură
• Integrați Dremio cu BI și surse de date cum ar fi Tableau și Elasticsearch

Audienţă

• Știință de date
• Business Analiștii
• Inginerul de date

Formatul cursului

• Lecții parțiale, discuții parțiale, exerciții și practici grele

Notă

• Pentru a solicita o pregătire personalizată pentru acest curs, vă rugăm să ne contactați pentru a organiza.

Acest curs de formare live, condus de un instructor în România (online sau la fața locului) se adresează profesioniștilor din domeniul bazelor de date de nivel mediu care doresc să își îmbunătățească competențele în dezvoltarea și administrarea Oracle SQL.

La sfârșitul acestei formări, participanții vor fi capabili să:

• Să construiască și să optimizeze interogări SQL complexe.
• Să administreze baze de date în mod eficient utilizând instrumente Oracle SQL.
• Să aplice cele mai bune practici în dezvoltarea și întreținerea bazelor de date.
• Să administreze accesul utilizatorilor și securitatea bazelor de date într-un mediu Oracle.

Apache Accumulo este un magazin de chei/valori sortat și distribuit, care oferă stocare și recuperare de date robuste și scalabile. Acesta se bazează pe designul lui Google's BigTable și este alimentat de Apache Hadoop, Apache Zookeeper și Apache Thrift.

Acest curs live, condus de un instructor, acoperă principiile de lucru din spatele Accumulo și conduce participanții prin dezvoltarea unei aplicații de exemplu pe Apache Accumulo.

Formatul cursului

• Parte prelegere, parte discuție, dezvoltare și implementare practică, teste ocazionale pentru a evalua înțelegerea

Această formare live, cu instructor, în România (online sau la fața locului) este destinată dezvoltatorilor de aplicații și inginerilor care doresc să stăpânească utilizări mai sofisticate ale bazei de date Teradata.

La sfârșitul acestei formări, participanții vor fi capabili să:

• Să gestioneze spațiul Teradata.
• Să protejeze și să distribuie date în Teradata.
• Să citească planul de explicare.
• Îmbunătățirea competenței SQL.
• Să utilizeze principalele utilitare din Teradata.

Acest curs se adresează dezvoltatorilor și cercetătorilor de date care doresc să înțeleagă și să implementeze inteligența artificială în aplicațiile lor. O atenție deosebită este acordată analizei datelor, inteligenței artificiale distribuite și procesării limbajului natural.

Amazon Redshift este un serviciu de depozit de date bazat pe cloud la scară de petabyte în AWS.

În cadrul acestui training live, condus de un instructor, participanții vor învăța elementele de bază ale Amazon Redshift.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Să instaleze și să configureze Amazon Redshift
• Încărcați, configurați, implementați, interogați și vizualizați date cu Amazon Redshift

Audiență

• Dezvoltatori
• Profesioniști IT

Formatul cursului

• Parte prelegere, parte discuție, exerciții și multă practică

Notă

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Progresul tehnologic și cantitatea tot mai mare de informații transformă modul în care se desfășoară activitatea în multe sectoare, inclusiv în cel guvernamental. Goratele de generare a datelor guvernamentale și de arhivare digitală sunt în creștere datorită creșterii rapide a dispozitivelor și aplicațiilor mobile, a senzorilor și dispozitivelor inteligente, a soluțiilor de cloud computing și a portalurilor orientate către cetățeni. Pe măsură ce informațiile digitale se extind și devin mai complexe, gestionarea, prelucrarea, stocarea, securitatea și eliminarea informațiilor devin și ele mai complexe. Noile instrumente de captare, căutare, descoperire și analiză ajută organizațiile să obțină informații din datele lor nestructurate. Piața guvernamentală se află la un punct de cotitură, realizând că informația este un activ strategic, iar guvernul trebuie să protejeze, să valorifice și să analizeze atât informațiile structurate, cât și cele nestructurate pentru a servi mai bine și a îndeplini cerințele misiunii. Pe măsură ce liderii guvernamentali se străduiesc să dezvolte organizații bazate pe date pentru a-și îndeplini cu succes misiunea, aceștia pun bazele pentru a corela dependențele dintre evenimente, oameni, procese și informații.

Soluțiile guvernamentale de mare valoare vor fi create dintr-o îmbinare a celor mai disruptive tehnologii:

• dispozitive și aplicații mobile
• Servicii în cloud
• Tehnologii și rețele de afaceri sociale
• Big Data și analiză

IDC preconizează că, până în 2020, industria IT va ajunge la 5 trilioane de dolari, cu aproximativ 1,7 trilioane de dolari mai mult decât în prezent, și că 80% din creșterea industriei va fi determinată de aceste tehnologii de platformă 3. Pe termen lung, aceste tehnologii vor fi instrumente esențiale pentru a face față complexității sporite a informațiilor digitale. Big Data este una dintre soluțiile inteligente ale industriei și permite administrației publice să ia decizii mai bune, acționând pe baza modelelor dezvăluite prin analiza unor volume mari de date - conexe și nelegate, structurate și nestructurate.

Dar pentru a realiza aceste performanțe este nevoie de mult mai mult decât simpla acumulare a unor cantități masive de date. "Pentru a da sens acestorvolumele de Big Dataeste nevoie de instrumente și tehnologii de ultimă generație care pot analiza și extrage cunoștințe utile din fluxuri vaste și diverse de informații", au scris Tom Kalil și Fen Zhao de la Biroul de politică științifică și tehnologică al Casei Albe într-o postare pe blogul OSTP.

Casa Albă a făcut un pas pentru a ajuta agențiile să găsească aceste tehnologii atunci când a înființat Inițiativa națională de cercetare și dezvoltare Big Data în 2012. Inițiativa a inclus mai mult de 200 de milioane de dolari pentru a profita la maximum de explozia de Big Data și de instrumentele necesare pentru a o analiza.

Provocările pe care le ridică Big Data sunt aproape la fel de înspăimântătoare pe cât de încurajatoare este promisiunea sa. Stocarea eficientă a datelor este una dintre aceste provocări. Ca întotdeauna, bugetele sunt limitate, așa că agențiile trebuie să reducă la minimum prețul pe megabyte al stocării și să păstreze datele la un acces ușor, astfel încât utilizatorii să le poată obține atunci când doresc și în modul în care au nevoie de ele. Copiile de rezervă pentru cantități masive de date sporesc provocarea.

Analiza eficientă a datelor reprezintă o altă provocare majoră. Multe agenții folosesc instrumente comerciale care le permit să treacă prin munții de date, identificând tendințele care le pot ajuta să opereze mai eficient. (Un studiu recent realizat de MeriTalk a constatat că directorii IT federali consideră că Big Data ar putea ajuta agențiile să economisească peste 500 de miliarde de dolari, îndeplinind în același timp obiectivele misiunii).

Instrumentele Big Data dezvoltate la comandă permit, de asemenea, agențiilor să răspundă nevoii de a-și analiza datele. De exemplu, Grupul de analiză computațională a datelor din cadrul Laboratorului Național Oak Ridge a pus la dispoziția altor agenții sistemul său de analiză a datelor Piranha. Sistemul i-a ajutat pe cercetătorii din domeniul medical să găsească o legătură care îi poate alerta pe medici cu privire la anevrismele aortice înainte ca acestea să se producă. De asemenea, sistemul este folosit și pentru sarcini mai banale, cum ar fi examinarea CV-urilor pentru a pune în legătură candidații la un loc de muncă cu managerii de angajare.

Apache Beam este un model de programare unificat, cu sursă deschisă, pentru definirea și executarea conductelor paralele de prelucrare a datelor. Puterea sa constă în capacitatea sa de a rula atât conducte pe loturi, cât și conducte de flux, execuția fiind efectuată de unul dintre back-end-urile de procesare distribuită acceptate de Beam: Apache Apex, Apache Flink, Apache Spark și Google Cloud Dataflow. Apache Beam este util pentru sarcinile ETL (Extract, Transform, and Load), cum ar fi mutarea datelor între diferite medii de stocare și surse de date, transformarea datelor într-un format mai dorit și încărcarea datelor într-un sistem nou.

În cadrul acestei formări live (la fața locului sau de la distanță) susținute de un instructor, participanții vor învăța cum să implementeze SDK-urile Apache Beam într-o aplicație Java sau Python care definește o conductă de procesare a datelor pentru descompunerea unui set de date mari în bucăți mai mici pentru procesare independentă, paralelă.

La finalul acestei instruiri, participanții vor fi capabili să:

• Să instaleze și să configureze Apache Beam.
• Să utilizeze un singur model de programare pentru a efectua atât procesarea pe loturi, cât și pe fluxuri din cadrul aplicației Java sau Python.
• Să execute pipeline-uri în mai multe medii.

Formatul cursului

• Parte prelegere, parte discuție, exerciții și multă practică

Notă

• Acest curs va fi disponibil Scala în viitor. Vă rugăm să ne contactați pentru a aranja.

Această sesiune de instruire bazată pe clasă va explora Big Data. Delegații vor avea exemple bazate pe computer și exerciții de studiu de caz pentru a le întreprinde cu instrumente relevante de date mari

Ziua 1 - oferă o imagine de ansamblu la nivel înalt a domeniilor esențiale ale Big Data . Modulul este împărțit într-o serie de secțiuni, fiecare fiind însoțită de un exercițiu practic.

Ziua 2 - explorează o serie de subiecte care se referă la practicile și instrumentele de analiză pentru mediile Big Data . Nu intră în detalii de implementare sau de programare, ci menține acoperirea la un nivel conceptual, concentrându-se pe subiecte care permit participanților să dezvolte o înțelegere cuprinzătoare a funcțiilor și funcțiilor comune de analiză oferite de soluțiile Big Data .

Ziua 3 - oferă o imagine de ansamblu asupra domeniilor tematice fundamentale și esențiale referitoare la arhitectura platformelor de soluții Big Data . Acopera mecanismele Big Data necesare dezvoltarii unei platforme de solutii Big Data si optiuni arhitecturale pentru asamblarea unei platforme de procesare a datelor. Scenariile obișnuite sunt, de asemenea, prezentate pentru a oferi o înțelegere de bază a modului în care este utilizată în general o platformă de soluții Big Data .

Ziua 4 - se construiește în ziua a 3-a prin explorarea subiectelor avansate referitoare la arhitectura platformei de soluții Big Data . În special, sunt introduse și discutate diferite straturi arhitecturale care alcătuiesc platforma de soluții Big Data , inclusiv sursele de date, intrarea datelor, stocarea datelor, procesarea datelor și securitatea.

Ziua 5 - acoperă o serie de exerciții și probleme concepute pentru a testa capacitatea delegaților de a aplica cunoștințe despre subiectele abordate Ziua 3 și 4.

În cadrul acestui curs de formare live susținut de un instructor în România, participanții vor învăța mentalitatea cu care să abordeze tehnologiile Big Data, să evalueze impactul acestora asupra proceselor și politicilor existente și să implementeze aceste tehnologii în scopul identificării activității infracționale și al prevenirii infracțiunilor. Studiile de caz ale organizațiilor de aplicare a legii din întreaga lume vor fi examinate pentru a obține informații privind abordările, provocările și rezultatele adoptării acestora.

La finalul acestei formări, participanții vor fi capabili să:

• Să combine tehnologia Big Data cu procesele tradiționale de colectare a datelor pentru a pune cap la cap o poveste în timpul unei investigații.
• Să implementeze soluții industriale de stocare și procesare big data pentru analiza datelor.
• Să pregătească o propunere pentru adoptarea celor mai adecvate instrumente și procese pentru a permite o abordare bazată pe date a investigațiilor penale.

Big Data sunt termeni care se referă la soluții destinate stocării și procesării seturilor de date mari. Dezvoltate inițial de Go ogle, aceste soluții Big Data au evoluat și au inspirat alte proiecte similare, dintre care multe sunt disponibile ca open-source. R este un limbaj popular de programare în industria financiară.

Atunci când tehnologiile tradiționale de stocare nu fac față cantității de date pe care trebuie să o stocați, există sute de alternative. Acest curs încearcă să ghideze participanții în ceea ce privește alternativele de stocare și analiză Big Data și care sunt avantajele și dezavantajele acestora.

Acest curs este axat în principal pe discuții și prezentarea de soluții, deși exercițiile practice sunt disponibile la cerere.

Cursul face parte din setul de cunoștințe Data Scientist (Domeniu: date și tehnologie).

acest instructor-condus, Live Training (la fața locului sau la distanță) este destinat ingineri care doresc să utilizeze confluente (o distribuție de Kafka) pentru a construi și de a gestiona o platformă de prelucrare a datelor în timp real pentru aplicațiile lor.

până la sfârșitul acestui training, participanții vor putea:

• Instala și configura Confluent Platform.
• Folosi instrumentele și serviciile de gestionare ale lui Confluent pentru a rula mai ușor Kafka.
• Stoca și procesa datele din fluxuri într-o manieră continuă.
• Optimiza și gestiona cluster-urile Kafka.
• Sigurați-vă fluxurile de date.

format al cursului

• Lecție interactivă și discuții.
• Multe exerciții și practică.
• Punerea în aplicare directă într-un mediu de laborator live.

curs opțiuni de personalizare

• Acest curs se bazează pe versiunea open source a lui Confluent: Confluent Open Source.
• Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a organiza acest lucru.

Public

Dacă încercați să înțelegeți din datele pe care aveți acces la sau doriți să analizați datele nestructurate disponibile pe net (cum ar fi Twitter, Linked in, etc ...), acest curs este pentru dvs.

Se adresează în special factorilor de decizie și persoanelor care au nevoie să aleagă ce date merită să fie colectate și ce merită analizat.

Nu este destinat persoanelor care configurează soluția, dar acești oameni vor beneficia de imaginea de ansamblu.

Modul de livrare

În timpul cursului, delegații vor fi prezentați cu exemple de lucru ale tehnologiilor cu sursă în mare parte.

Prelegerile scurte vor fi urmate de prezentări și de exerciții simple de către participanți

Conținutul și software-ul folosit

Tot software-ul folosit este actualizat de fiecare dată când cursul este rulat, așa că verificăm cele mai noi versiuni posibile.

Acesta acoperă procesul de obținere, formatare, prelucrare și analiză a datelor, pentru a explica modul de automatizare a procesului de luare a deciziilor cu învățarea în mașină.

În cadrul acestui curs de formare live, condus de un instructor, în România, participanții vor învăța cum să construiască un Data Vault.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Înțeleagă arhitectura și conceptele de proiectare din spatele Data Vault 2.0 și interacțiunea sa cu Big Data, NoSQL și AI.
• Să utilizeze tehnici de arhivare a datelor pentru a permite auditarea, urmărirea și inspectarea datelor istorice într-un depozit de date.
• Dezvoltarea unui proces ETL (extragere, transformare, încărcare) coerent și repetabil.
• Construiți și implementați depozite foarte scalabile și repetabile.

Acest training live, condus de un instructor în România (online sau la fața locului) se adresează arhitecților, dezvoltatorilor și administratorilor care doresc să utilizeze platforma Denodo pentru a optimiza și accelera gestionarea datelor prin virtualizarea datelor.

La finalul acestui training, participanții vor fi capabili să:

• Să instaleze și să configureze Denodo Platform.
• Să înțeleagă caracteristicile și arhitectura Denodo Platform.
• Să înțeleagă conceptele cheie, beneficiile și cazurile de utilizare pentru virtualizarea datelor.
• Să învețe cum să configureze și să administreze serverul Denodo Platform.
• Implementați securitatea datelor, accesul utilizatorilor și autentificarea serviciilor.
• Aplicați instrumentele și tehnicile pentru monitorizarea operațiunilor și optimizarea performanțelor.

Apache Druid este un depozit de date distribuit orientat pe coloană, orientat pe coloană, scris în Java . Acesta a fost proiectat pentru a ingera rapid cantități masive de date despre evenimente și pentru a executa interogări OLAP cu latență scăzută pe aceste date. Druid este utilizat în mod obișnuit în aplicațiile de business intelligence pentru a analiza volume mari de date istorice în timp real. De asemenea, este potrivit pentru alimentarea de tablouri de bord rapide, interactive și analitice pentru utilizatorii finali. Druid este folosit de companii precum Alibaba, Airbnb, Cisco , eBay, Netflix, Paypal și Yahoo.

În acest curs, dirijat de instructor, în direct, explorăm unele dintre limitările soluțiilor pentru depozitul de date și discutăm cum Druid poate complimenta acele tehnologii pentru a forma o stivă de analiză de fluxuri flexibilă și scalabilă. Parcurgem numeroase exemple, oferind participanților șansa de a implementa și testa soluții bazate pe Druid într-un mediu de laborator.

Formatul cursului

• Prelegeri de părți, discuții în parte, practici practice grele, teste ocazionale pentru evaluarea înțelegerii

Datele mari sunt seturi de date atât de voluminoase și complexe încât softurile tradiționale de aplicații de prelucrare a datelor nu sunt adecvate pentru a le trata. Provocările de date mari includ captarea datelor, stocarea datelor, analiza datelor, căutarea, partajarea, transferul, vizualizarea, interogarea, actualizarea și confidențialitatea informațiilor.

Acest curs de formare live, condus de un instructor în România (online sau la fața locului) prezintă principiile și abordările care stau la baza procesării distribuite a datelor în flux și pe loturi și conduce participanții prin crearea unei aplicații de flux de date în timp real în Apache Flink.

Până la sfârșitul acestui curs, participanții vor fi capabili să:

• Să creeze un mediu pentru dezvoltarea de aplicații de analiză a datelor.
• Să înțeleagă cum funcționează biblioteca de procesare a grafurilor (Gelly) din Apache Flink.
• Să împacheteze, să execute și să monitorizeze aplicații de flux de date bazate pe Flink, tolerante la erori.
• Gestionarea diverselor sarcini de lucru.
• Efectuarea de analize avansate.
• Configurarea unui cluster Flink cu mai multe noduri.
• Măsurarea și optimizarea performanței.
• Integrarea Flink cu diferite sisteme Big Data.
• Compararea capacităților Flink cu cele ale altor cadre de procesare a datelor mari.

În cadrul acestei formări live cu instructor în România, participanții vor învăța despre ofertele tehnologice și abordările de implementare pentru prelucrarea datelor grafice. Scopul este de a identifica obiecte din lumea reală, caracteristicile și relațiile acestora, apoi de a modela aceste relații și de a le prelucra ca date utilizând o abordare Graph Computing (cunoscută și sub denumirea de Graph Analytics). Vom începe cu o prezentare generală și ne vom concentra pe instrumente specifice pe măsură ce parcurgem o serie de studii de caz, exerciții practice și implementări live.

Până la sfârșitul acestui curs, participanții vor fi capabili să:

• Să înțeleagă modul în care datele grafice sunt păstrate și parcurse.
• Să selecteze cel mai bun cadru pentru o anumită sarcină (de la baze de date grafice la cadre de procesare pe loturi).
• Să implementeze Hadoop, Spark, GraphX și Pregel pentru a efectua calculul grafurilor pe mai multe mașini în paralel.
• Vizualizarea problemelor reale legate de big data în termeni de grafuri, procese și traversări.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează administratorilor care doresc să configureze Greenplum Database pentru soluții de business intelligence și de stocare de date.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Gestioneze nevoile de procesare cu Greenplum.
• Execută operațiuni ETL pentru procesarea datelor.
• Potopesc infrastructura existentă de procesare a cererilor.

Această instruire live, condusă de un instructor în România (online sau la fața locului) prezintă Hortonworks Data Platform (HDP) și conduce participanții prin implementarea soluției Spark + Hadoop.

Până la sfârșitul acestui training, participanții vor fi capabili să:

• Să utilizeze Hortonworks pentru a rula fiabil Hadoop la scară largă.
• Unifice capacitățile de securitate, guvernanță și operațiuni ale Hadoop cu fluxurile de lucru analitice agile ale Spark.
• Utilizați Hortonworks pentru a investiga, valida, certifica și sprijini fiecare dintre componentele unui proiect Spark.
• Procesați diferite tipuri de date, inclusiv structurate, nestructurate, în mișcare și în repaus.

Cloudera Impala este un motor de interogare SQL de procesare masiv paralelă (MPP) cu sursă deschisă pentru clustere Apache Hadoop.

Impala permite utilizatorilor să emită interogări SQL cu latență redusă pentru datele stocate în Hadoop Distributed File System și Apache Hbase fără a necesita deplasarea sau transformarea datelor.

Audiență

Acest curs se adresează analiștilor și cercetătorilor de date care efectuează analize asupra datelor stocate în Hadoop prin intermediul instrumentelor Business Intelligence sau SQL.

După acest curs, delegații vor fi capabili să

• Să extragă informații semnificative din clusterele Hadoop cu Impala.
• Scrie programe specifice pentru a facilita Business Intelligence în Impala SQL dialect.
• Să rezolve problemele Impala.

În cadrul acestui curs de instruire live, condus de un instructor în România (la fața locului sau la distanță), participanții vor învăța cum să configureze și să integreze diferite cadre Stream Processing cu sistemele de stocare de date mari existente și cu aplicațiile software și microserviciile aferente.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați diferite cadre Stream Processing, cum ar fi Spark Streaming și Kafka Streaming.
• Înțelegeți și selectați cel mai potrivit cadru pentru treaba respectivă.
.
• Procesați date în mod continuu, simultan și în mod înregistrare cu înregistrare.
.
• Integrați Stream Processing soluțiile cu bazele de date existente, depozitele de date, lacurile de date, etc.
.
• Integrați cea mai potrivită bibliotecă de procesare a fluxurilor cu aplicații de întreprindere și microservicii.

Această instruire live, cu instructor în România (online sau la fața locului) se adresează inginerilor de date, cercetătorilor de date și programatorilor care doresc să utilizeze caracteristicile Apache Kafka în fluxul de date cu Python.

Până la sfârșitul acestei formări, participanții vor fi capabili să utilizeze Apache Kafka pentru a monitoriza și gestiona condițiile în fluxurile continue de date utilizând programarea Python.

Kafka Streams este o bibliotecă din partea clientului pentru construirea de aplicații și microservicii ale căror date sunt transmise către și de la un sistem de mesagerie Kafka. În mod tradițional, Apache Kafka s-a bazat pe Apache Spark sau Apache Storm pentru a prelucra date între producătorii de mesaje și consumatori. Apelând API-ul Kafka Streams din cadrul unei aplicații, datele pot fi procesate direct în Kafka, ocolind nevoia de a trimite datele către un cluster separat pentru procesare.

În cadrul acestui training, instruit în direct, participanții vor învăța cum să integreze Kafka Streams într-un set de aplicații Java care să treacă date de la și de la Apache Kafka pentru procesarea fluxului.

Până la sfârșitul acestui antrenament, participanții vor putea:

• Să înțeleagă caracteristicile și avantajele Kafka Streams față de alte cadre de prelucrare a fluxurilor
• Să proceseze datele de flux direct în cadrul unui cluster Kafka
• Să scrie o aplicație sau microserviciu Java sau Scala care să se integreze cu Kafka și Kafka Streams
• Să scrie cod concis care transformă subiectele de intrare Kafka în subiectele de ieșire Kafka
• Să construiască, împacheteze și deployeze aplicația

Public

• Dezvoltatori

Formatul cursului

• Poziție de predare, discuții, exerciții și practică intensivă manuală

notițe

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a organiza

Acest curs de formare live, condus de un instructor în România (online sau la fața locului) se adresează dezvoltatorilor care doresc să implementeze Apache Kafka procesarea fluxurilor fără a scrie cod.

Până la sfârșitul acestei formări, participanții vor fi capabili să:

• Să instaleze și să configureze Confluent KSQL.
• Să configureze o conductă de procesare a fluxurilor utilizând numai comenzi SQL (fără codare Java sau Python).
• Să efectueze filtrarea datelor, transformări, agregări, îmbinări, ferestre și sesionări în întregime în SQL.
• Proiectați și implementați interogări interactive și continue pentru ETL în flux și analize în timp real.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează persoanelor tehnice care doresc să învețe cum să implementeze o strategie de învățare automată, maximizând în același timp utilizarea big data.

Până la sfârșitul acestui curs de formare, participanții vor:

• Înțelegeți evoluția și tendințele pentru învățarea mașinilor.
• Cunoașteți modul în care învățarea automată este utilizată în diferite industrii.
• Familiarizați-vă cu instrumentele, competențele și serviciile disponibile pentru a implementa învățarea automată în cadrul unei organizații.
.
• Înțelegeți cum poate fi utilizată învățarea automată pentru a îmbunătăți extragerea și analiza datelor.
• Învățați ce este un backend de mijloc de date și cum este utilizat de întreprinderi.
.
• Înțelegeți rolul pe care big data și aplicațiile inteligente îl joacă în toate industriile.
.

În cadrul acestei formări live cu instructor în România (la fața locului sau la distanță), participanții vor învăța cum să implementeze și să gestioneze Apache NiFi într-un mediu de laborator live.

Până la sfârșitul acestui training, participanții vor fi capabili să:

• Să instaleze și să configureze Apachi NiFi.
• Să genereze, să transforme și să gestioneze date din surse de date disparate și distribuite, inclusiv baze de date și lacuri de date mari.
• Să automatizeze fluxurile de date.
• Să permită analizele de flux.
• Aplicați diverse abordări pentru ingestia datelor.
• Transformarea Big Data și în perspective de afaceri.

În cadrul acestei formări live, condusă de un instructor în România, participanții vor învăța elementele de bază ale programării bazate pe flux pe măsură ce vor dezvolta o serie de extensii, componente și procesoare demonstrative utilizând Apache NiFi.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Să înțeleagă arhitectura NiFi și conceptele de flux de date.
• Să dezvolte extensii utilizând NiFi și API-uri terțe.
• Să își dezvolte propriul procesor Apache Nifi personalizat.
• Să primească și să proceseze date în timp real din formate de fișiere și surse de date disparate și neobișnuite.

Această instruire live, cu instructor, în România (online sau la fața locului) se adresează inginerilor de date, cercetătorilor de date și programatorilor care doresc să utilizeze caracteristicile Spark Streaming în procesarea și analiza datelor în timp real.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să utilizeze Spark Streaming pentru a procesa fluxuri de date în timp real pentru a fi utilizate în baze de date, sisteme de fișiere și tablouri de bord în timp real.

MLlib este biblioteca Spark de învățare automată (ML). Scopul său este de a face învățarea practică a mașinilor scalabilă și ușoară. Se compune din algoritmi și utilități comune de învățare, inclusiv clasificarea, regresia, gruparea, filtrarea colaborativă, reducerea dimensiunilor, precum și primitivele de optimizare la nivel inferior și API-urile de conducte de nivel superior.

Se împarte în două pachete:

• spark.mllib conține API original construit pe partea de sus RDDs.

• spark.ml furnizează API de nivel superior construit pe partea de sus a DataFrames pentru construirea conductelor ML.

Public

Acest curs este adresat inginerilor și dezvoltatorilor care încearcă să utilizeze o mașină de bibliotecă construită pentru Apache Spark

Acest curs de instruire live, condus de un instructor, în România (online sau la fața locului) se adresează persoanelor tehnice care doresc să implementeze Talend Open Studio for Big Data pentru a simplifica procesul de citire și prelucrare a datelor Big Data.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați Talend Open Studio for Big Data.
• Conectați-vă cu sisteme Big Data, cum ar fi Cloudera, HortonWorks, MapR, Amazon EMR și Apache.
.
• Înțelegeți și configurați componentele și conectorii pentru date mari ai Open Studio's big data.
.
• Configurați parametrii pentru a genera automat codul MapReduce.
.
• Utilizați interfața drag-and-drop a Open Studio's pentru a rula lucrări Hadoop.
• Prototipați conducte de date mari.
.
• Automatizați proiectele de integrare a datelor mari.
.

Teradata este unul dintre cele mai populare sisteme relaționale Database Management. Acesta este potrivit în principal pentru construirea de aplicații de depozitare a datelor la scară largă. Teradata realizează acest lucru prin conceptul de paralelism.

Acest curs prezintă delegaților Teradata.

Această instruire live, condusă de un instructor, prezintă conceptele din spatele analizei interactive a datelor și îndrumă participanții prin implementarea și utilizarea Zeppelin într-un mediu cu un singur utilizator sau cu mai mulți utilizatori.

Până la sfârșitul acestui curs, participanții vor fi capabili să:

• Să instaleze și să configureze Zeppelin
• Să dezvolte, să organizeze, să execute și să partajeze date într-o interfață bazată pe browser
• Să vizualizeze rezultatele fără a se referi la linia de comandă sau la detaliile clusterului
• Să execute și să colaboreze pe fluxuri de lucru lungi
• Lucrați cu oricare dintre o serie de plug-in-uri de limbaj/backend-uri de procesare a datelor, precum Scala (cu Apache Spark), Python (cu Apache Spark), Spark SQL, JDBC, Markdown și Shell.
• Integrați Zeppelin cu Spark, Flink și Map Reduce
• Securizați instanțele multiutilizator ale Zeppelin cu Apache Shiro