Cursuri de pregatire Talend Big Data Integration

În cadrul acestui curs de formare live, condus de un instructor, în România, participanții vor învăța cum să construiască un Data Vault.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Înțeleagă arhitectura și conceptele de proiectare din spatele Data Vault 2.0 și interacțiunea sa cu Big Data, NoSQL și AI.
• Să utilizeze tehnici de arhivare a datelor pentru a permite auditarea, urmărirea și inspectarea datelor istorice într-un depozit de date.
• Dezvoltarea unui proces ETL (extragere, transformare, încărcare) coerent și repetabil.
• Construiți și implementați depozite foarte scalabile și repetabile.

Această instruire live, cu instructor, în România (online sau la fața locului) se adresează inginerilor de date, cercetătorilor de date și programatorilor care doresc să utilizeze caracteristicile Spark Streaming în procesarea și analiza datelor în timp real.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să utilizeze Spark Streaming pentru a procesa fluxuri de date în timp real pentru a fi utilizate în baze de date, sisteme de fișiere și tablouri de bord în timp real.

Acest curs de formare live, condus de un instructor în România (online sau la fața locului) se adresează dezvoltatorilor care doresc să implementeze Apache Kafka procesarea fluxurilor fără a scrie cod.

Până la sfârșitul acestei formări, participanții vor fi capabili să:

• Să instaleze și să configureze Confluent KSQL.
• Să configureze o conductă de procesare a fluxurilor utilizând numai comenzi SQL (fără codare Java sau Python).
• Să efectueze filtrarea datelor, transformări, agregări, îmbinări, ferestre și sesionări în întregime în SQL.
• Proiectați și implementați interogări interactive și continue pentru ETL în flux și analize în timp real.

Acest curs de formare live, condus de un instructor în România (online sau la fața locului) se adresează dezvoltatorilor care doresc să învețe principiile din spatele stocării persistente și pure în memorie pe măsură ce trec prin crearea unui proiect de exemplu de calcul în memorie.

Până la sfârșitul acestei formări, participanții vor fi capabili să:

• Să utilizeze Ignite pentru persistență in-memory, on-disk, precum și pentru o bază de date in-memory pur distribuită.
• Să realizeze persistența fără sincronizarea datelor cu o bază de date relațională.
• Utilizarea Ignite pentru a efectua conexiuni SQL și conexiuni distribuite.
• Îmbunătățirea performanței prin mutarea datelor mai aproape de CPU, folosind RAM ca spațiu de stocare.
• Răspândiți seturile de date pe un cluster pentru a obține scalabilitate orizontală.
• Integrați Ignite cu RDBMS, NoSQL, Hadoop și procesoare de învățare automată.

Apache Beam este un model de programare unificat, cu sursă deschisă, pentru definirea și executarea conductelor paralele de prelucrare a datelor. Puterea sa constă în capacitatea sa de a rula atât conducte pe loturi, cât și conducte de flux, execuția fiind efectuată de unul dintre back-end-urile de procesare distribuită acceptate de Beam: Apache Apex, Apache Flink, Apache Spark și Google Cloud Dataflow. Apache Beam este util pentru sarcinile ETL (Extract, Transform, and Load), cum ar fi mutarea datelor între diferite medii de stocare și surse de date, transformarea datelor într-un format mai dorit și încărcarea datelor într-un sistem nou.

În cadrul acestei formări live (la fața locului sau de la distanță) susținute de un instructor, participanții vor învăța cum să implementeze SDK-urile Apache Beam într-o aplicație Java sau Python care definește o conductă de procesare a datelor pentru descompunerea unui set de date mari în bucăți mai mici pentru procesare independentă, paralelă.

La finalul acestei instruiri, participanții vor fi capabili să:

• Să instaleze și să configureze Apache Beam.
• Să utilizeze un singur model de programare pentru a efectua atât procesarea pe loturi, cât și pe fluxuri din cadrul aplicației Java sau Python.
• Să execute pipeline-uri în mai multe medii.

Formatul cursului

• Parte prelegere, parte discuție, exerciții și multă practică

Notă

• Acest curs va fi disponibil Scala în viitor. Vă rugăm să ne contactați pentru a aranja.

Apache Apex este o platformă YARN-nativă care unifică procesarea fluxurilor și a loturilor. Aceasta procesează date mari în mișcare într-un mod care este scalabil, performant, tolerant la erori, cu stare, sigur, distribuit și ușor de utilizat.

Acest curs live, condus de un instructor, prezintă arhitectura unificată de procesare a fluxurilor Apache Apex și conduce participanții prin crearea unei aplicații distribuite utilizând Apex pe Hadoop.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Să înțeleagă conceptele de pipeline de procesare a datelor, cum ar fi conectorii pentru surse și scurgeri, transformările comune de date etc.
• Să construiască, să scaleze și să optimizeze o aplicație Apex
• Să proceseze fluxuri de date în timp real în mod fiabil și cu latență minimă
• Utilizarea Apex Core și a bibliotecii Apex Malhar pentru a permite dezvoltarea rapidă a aplicațiilor
• Utilizați API-ul Apex pentru a scrie și reutiliza codul Java existent
• Integrați Apex în alte aplicații ca motor de procesare
• Reglarea, testarea și extinderea aplicațiilor Apex

Formatul cursului

• Prelegere și discuții interactive.
• O mulțime de exerciții și practică.
• Implementare practică într-un mediu live-lab.

Opțiuni de personalizare a cursului

• Pentru a solicita o instruire personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.

Apache Storm este un motor de calcul distribuit, în timp real, utilizat pentru a permite informații de afaceri în timp real. Acesta face acest lucru permițând aplicațiilor să proceseze în mod fiabil fluxuri nelimitate de date (a.k.a. procesarea fluxurilor).

"Storm este pentru procesarea în timp real ceea ce Hadoop este pentru procesarea pe loturi!"

În acest training live condus de un instructor, participanții vor învăța cum să instaleze și să configureze Apache Storm, apoi să dezvolte și să implementeze o aplicație Apache Storm pentru prelucrarea datelor mari în timp real.

Unele dintre subiectele incluse în această instruire includ:

• Apache Storm în contextul Hadoop
• Lucrul cu date nelimitate
• Calculul continuu
• Analiză în timp real
• Procesarea distribuită RPC și ETL

Solicitați acest curs acum!

Audiență

• Dezvoltatori de software și ETL
• Profesioniști Mainframe
• Oameni de știință în domeniul datelor
• Analiști Big Data
• Hadoop profesioniști

Formatul cursului

• Parte prelegere, parte discuție, exerciții și multă practică

În cadrul acestei formări live cu instructor în România (la fața locului sau la distanță), participanții vor învăța cum să implementeze și să gestioneze Apache NiFi într-un mediu de laborator live.

Până la sfârșitul acestui training, participanții vor fi capabili să:

• Să instaleze și să configureze Apachi NiFi.
• Să genereze, să transforme și să gestioneze date din surse de date disparate și distribuite, inclusiv baze de date și lacuri de date mari.
• Să automatizeze fluxurile de date.
• Să permită analizele de flux.
• Aplicați diverse abordări pentru ingestia datelor.
• Transformarea Big Data și în perspective de afaceri.

În cadrul acestei formări live, condusă de un instructor în România, participanții vor învăța elementele de bază ale programării bazate pe flux pe măsură ce vor dezvolta o serie de extensii, componente și procesoare demonstrative utilizând Apache NiFi.

Până la sfârșitul acestei instruiri, participanții vor fi capabili să:

• Să înțeleagă arhitectura NiFi și conceptele de flux de date.
• Să dezvolte extensii utilizând NiFi și API-uri terțe.
• Să își dezvolte propriul procesor Apache Nifi personalizat.
• Să primească și să proceseze date în timp real din formate de fișiere și surse de date disparate și neobișnuite.

Acest curs de formare live, condus de un instructor în România (online sau la fața locului) prezintă principiile și abordările care stau la baza procesării distribuite a datelor în flux și pe loturi și conduce participanții prin crearea unei aplicații de flux de date în timp real în Apache Flink.

Până la sfârșitul acestui curs, participanții vor fi capabili să:

• Să creeze un mediu pentru dezvoltarea de aplicații de analiză a datelor.
• Să înțeleagă cum funcționează biblioteca de procesare a grafurilor (Gelly) din Apache Flink.
• Să împacheteze, să execute și să monitorizeze aplicații de flux de date bazate pe Flink, tolerante la erori.
• Gestionarea diverselor sarcini de lucru.
• Efectuarea de analize avansate.
• Configurarea unui cluster Flink cu mai multe noduri.
• Măsurarea și optimizarea performanței.
• Integrarea Flink cu diferite sisteme Big Data.
• Compararea capacităților Flink cu cele ale altor cadre de procesare a datelor mari.

În cadrul acestui curs de formare live, condus de un instructor în România, participanții vor învăța cum să utilizeze Python și Spark împreună pentru a analiza date mari, pe măsură ce lucrează la exerciții practice.

Până la sfârșitul acestui training, participanții vor fi capabili să:

• Să învețe cum să utilizeze Spark cu Python pentru a analiza Big Data.
• Să lucreze la exerciții care imită cazuri din lumea reală.
• Să utilizeze diferite instrumente și tehnici pentru analiza datelor mari utilizând PySpark.

În cadrul acestei formări live cu instructor în România, participanții vor învăța despre ofertele tehnologice și abordările de implementare pentru prelucrarea datelor grafice. Scopul este de a identifica obiecte din lumea reală, caracteristicile și relațiile acestora, apoi de a modela aceste relații și de a le prelucra ca date utilizând o abordare Graph Computing (cunoscută și sub denumirea de Graph Analytics). Vom începe cu o prezentare generală și ne vom concentra pe instrumente specifice pe măsură ce parcurgem o serie de studii de caz, exerciții practice și implementări live.

Până la sfârșitul acestui curs, participanții vor fi capabili să:

• Să înțeleagă modul în care datele grafice sunt păstrate și parcurse.
• Să selecteze cel mai bun cadru pentru o anumită sarcină (de la baze de date grafice la cadre de procesare pe loturi).
• Să implementeze Hadoop, Spark, GraphX și Pregel pentru a efectua calculul grafurilor pe mai multe mașini în paralel.
• Vizualizarea problemelor reale legate de big data în termeni de grafuri, procese și traversări.

Acest curs se adresează dezvoltatorilor și cercetătorilor de date care doresc să înțeleagă și să implementeze inteligența artificială în aplicațiile lor. O atenție deosebită este acordată analizei datelor, inteligenței artificiale distribuite și procesării limbajului natural.

MLlib este biblioteca Spark de învățare automată (ML). Scopul său este de a face învățarea practică a mașinilor scalabilă și ușoară. Se compune din algoritmi și utilități comune de învățare, inclusiv clasificarea, regresia, gruparea, filtrarea colaborativă, reducerea dimensiunilor, precum și primitivele de optimizare la nivel inferior și API-urile de conducte de nivel superior.

Se împarte în două pachete:

• spark.mllib conține API original construit pe partea de sus RDDs.

• spark.ml furnizează API de nivel superior construit pe partea de sus a DataFrames pentru construirea conductelor ML.

Public

Acest curs este adresat inginerilor și dezvoltatorilor care încearcă să utilizeze o mașină de bibliotecă construită pentru Apache Spark

Descoperirea cunoștințelor în baze de date (KDD) este procesul de descoperire a cunoștințelor utile dintr-o colecție de date. Aplicațiile de viață reală pentru această tehnică de minerit de date includ marketing, detectarea fraudelor, telecomunicații și fabricarea.

În acest curs de instruire, live, introducem procesele implicate în KDD și efectuăm o serie de exerciții pentru a practica implementarea acestor procese.

Audienţă

• Analiștii de date sau oricine este interesat să învețe cum să interpreteze datele pentru a rezolva problemele

Formatul cursului

• După o dezbatere teoretică a KDD, instructorul va prezenta cazuri de viață reală care solicită aplicarea KDD pentru a rezolva o problemă. Participanții vor pregăti, selecta și curăța seturile de date de eșantion și vor folosi cunoștințele lor anterioare cu privire la datele pentru a propune soluții bazate pe rezultatele observațiilor lor.