Cursuri de pregatire Programming with Big Data in R

Tidyverse este o colecție de pachete R versatile pentru curățarea, procesarea, modelarea și vizualizarea datelor. Unele dintre pachetele incluse sunt: ggplot2, dplyr, tidyr, readr, purrr și tibble.

În cadrul acestui instruire, instruit în direct, participanții vor învăța cum să manipuleze și să vizualizeze datele folosind instrumentele incluse în Tidyverse .

Până la sfârșitul acestui antrenament, participanții vor putea:

• Efectuați analiza datelor și creați vizualizări atrăgătoare
• Obțineți concluzii utile din diverse seturi de date cu date de probă
• Filtrați, sortați și rezumați datele pentru a răspunde la întrebări exploratorii
• Transformați datele procesate în linii informative, loturi de bare, histograme
• Importați și filtrați date din diverse surse de date, inclusiv Excel , CSV și SPSS

Public

• Începători în limba R
• Începători pentru analiza și vizualizarea datelor

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

În acest training live, condus de un instructor în România, participanții vor învăța cum să construiască un Data Vault.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Înțelegeți arhitectura și conceptele de design din spatele Data Vault 2.0, precum și interacțiunea sa cu Big Data, NoSQL și AI.
.
• Utilizați tehnicile de data vaulting pentru a permite auditarea, urmărirea și inspectarea datelor istorice într-un depozit de date.
.
• Dezvoltați un proces ETL (Extract, Transform, Load) consistent și repetabil.
.
• Construiți și implementați depozite foarte scalabile și repetabile.
.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) se adresează inginerilor de date, oamenilor de știință de date și programatorilor care doresc să utilizeze caracteristicile Spark Streaming în procesarea și analiza datelor în timp real.

La sfârșitul acestui curs, participanții vor putea utiliza Spark Streaming pentru a procesa fluxuri de date în timp real pentru a le utiliza în baze de date, sisteme de fișiere și tablouri de bord în timp real.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) este destinat dezvoltatorilor care doresc să implementeze procesarea fluxurilor Apache Kafka fără a scrie cod.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați Confluent KSQL.
.
• Configurați o conductă de procesare a fluxurilor folosind doar comenzi SQL (fără codare Java sau Python).
.
• Realizați filtrarea datelor, transformările, agregările, îmbinările, fereastrarea și sesizarea în întregime în SQL.
.
• Proiectați și implementați interogări interactive și continue pentru ETL în flux și analize în timp real.
.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Beam este un model de programare unificat, open source, pentru definirea și executarea conductelor paralele de procesare a datelor. Puterea sa constă în capacitatea sa de a rula conducte de loturi și de streaming, execuția fiind realizată de unul dintre back-end-urile de procesare distribuite acceptate de Beam: Apache Apex , Apache Flink , Apache Spark și Go ogle Cloud Dataflow. Apache Beam este utilă pentru sarcinile ETL (Extract, Transform și Load), cum ar fi mutarea datelor între diferite suporturi de stocare și surse de date, transformarea datelor într-un format mai dorit și încărcarea datelor într-un nou sistem.

În acest training, instruit în direct (la fața locului sau la distanță), participanții vor învăța cum să implementeze SDK-urile Apache Beam într-o Java sau Python care definește o conductă de prelucrare a datelor pentru descompunerea unui set de date mari în bucăți mai mici pentru o prelucrare independentă și paralelă .

Până la sfârșitul acestui antrenament, participanții vor putea:

• Instalați și configurați Apache Beam .
• Utilizați un singur model de programare pentru a efectua atât procesarea lotului, cât și fluxul, pentru a elimina Java lor Java sau Python .
• Executați conducte în mai multe medii.

Formatul cursului

• Partea de prelegere, o discuție parțială, exerciții și practici practice

Notă

• Acest curs va fi disponibil Scala în viitor. Vă rugăm să ne contactați pentru a vă aranja.

Apache Apex este o platformă nativă YARN care unifică procesarea fluxurilor și loturilor. Procesează date mari în mișcare într-un mod care poate fi scalabil, performant, tolerant la erori, statistic, sigur, distribuit și ușor operabil.

Această instruire în direct, dirijată de instructor, introduce arhitectura de procesare a fluxurilor unificate de Apache Apex și parcurge participanții prin crearea unei aplicații distribuite folosind Apex pe Hadoop .

Până la sfârșitul acestui antrenament, participanții vor putea:

• Înțelegeți conceptele conductelor de procesare a datelor, cum ar fi conectori pentru surse și chiuvete, transformări comune de date etc.
• Construiți, scalați și optimizați o aplicație Apex
• Procesați fluxuri de date în timp real în mod fiabil și cu latență minimă
• Utilizați Apex Core și biblioteca Apex Malhar pentru a permite dezvoltarea rapidă a aplicației
• Utilizați API-ul Apex pentru a scrie și reutiliza codul Java existent
• Integrați Apex în alte aplicații ca motor de procesare
• Reglarea, testarea și scalarea aplicațiilor Apex

Formatul cursului

• Prelegeri și discuții interactive.
• O mulțime de exerciții și practică.
• Implementarea practică într-un mediu de laborator live.

Opțiuni de personalizare a cursului

• Pentru a solicita un antrenament personalizat pentru acest curs, vă rugăm să ne contactați pentru a vă organiza.

Apache Storm este un motor de calcul distribuit în timp real utilizat pentru a permite inteligența de afaceri în timp real. Acest lucru se face prin a permite aplicațiilor să proceseze în mod fiabil fluxurile nedeterminate de date (de exemplu. prelucrarea fluxului).

"Storm este pentru prelucrarea în timp real ceea ce Hadoop este pentru prelucrarea batch!"

În această pregătire directă condusă de instructori, participanții vor învăța cum să instaleze și să configureze Apache Storm, apoi să dezvolte și să implementeze o aplicație Apache Storm pentru prelucrarea datelor mari în timp real.

Unele dintre subiectele incluse în această formare includ:

• Apache Storm în contextul Hadoop
• Lucrarea cu date nelimitată
• Computație continuă
• Analiza în timp real
• Procesare distribuită RPC și ETL

Cere acest curs acum!

Audienţă

• Software și dezvoltatori ETL
• Profesioniștii Mainframe
• Știință de date
• Analistii Big Data
• [ 0 ] Profesioniști

Formatul cursului

• Lecții parțiale, discuții parțiale, exerciții și practici grele

În cadrul acestui curs de instruire live, condus de un instructor în România (la fața locului sau la distanță), participanții vor învăța cum să implementeze și să administreze Apache NiFi într-un mediu de laborator live.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Instalați și configurați Apachi NiFi.
• Furnizați, transformați și gestionați date din surse de date disparate, distribuite, inclusiv baze de date și lacuri de date mari.
.
• Automatizați fluxurile de date.
.
• Activați analizele de streaming.
.
• Aplicați diverse abordări pentru ingestia de date.
.
• Transformați Big Data și în informații de afaceri.
.

În acest curs de instruire live, condus de un instructor în România, participanții vor învăța elementele de bază ale programării bazate pe fluxuri pe măsură ce vor dezvolta o serie de extensii, componente și procesoare demonstrative folosind Apache NiFi.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Înțelegeți arhitectura NiFi's și conceptele de flux de date.
• Dezvoltați extensii folosind NiFi și API-uri de la terți.
• Dezvoltă personalizat propriul procesor Apache Nifi.
.
• Ingerați și procesați date în timp real din formate de fișiere și surse de date disparate și neobișnuite.

Acest curs de instruire live, condus de un instructor în România (online sau la fața locului) introduce principiile și abordările din spatele procesării distribuite a fluxurilor și a datelor pe loturi și îi conduce pe participanți prin crearea unei aplicații de streaming de date în timp real în Apache Flink.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

Crearea unui mediu pentru dezvoltarea aplicațiilor de analiză a datelor. Înțelegeți cum funcționează biblioteca de procesare grafică Apache Flink's s (Gelly). Împachetați, executați și monitorizați aplicațiile de streaming de date bazate pe Flink, tolerante la erori. Gestionați diverse sarcini de lucru. Efectuați analize avansate. Configurați un cluster Flink cu mai multe noduri. Măsurați și optimizați performanța. Integrați Flink cu diferite sisteme Big Data. Comparați capacitățile Flink cu cele ale altor cadre de procesare a datelor mari.

În cadrul acestui curs de instruire live, condus de un instructor în România, participanții vor învăța cum să utilizeze Python și Spark împreună pentru a analiza date mari în timp ce lucrează la exerciții practice.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Învățați cum să utilizați Spark cu Python pentru a analiza Big Data.
• Lucrați la exerciții care imită cazuri din lumea reală.
• Utilizați diferite instrumente și tehnici de analiză a datelor mari folosind PySpark.
.

În cadrul acestui curs de instruire live, condus de un instructor în România, participanții vor învăța despre ofertele tehnologice și abordările de implementare pentru procesarea datelor grafice. Scopul este de a identifica obiectele din lumea reală, caracteristicile și relațiile acestora, apoi de a modela aceste relații și de a le procesa ca date utilizând o abordare Graph Computing (cunoscută și sub numele de Graph Analytics). Începem cu o prezentare generală și ne concentrăm asupra unor instrumente specifice pe măsură ce parcurgem o serie de studii de caz, exerciții practice și implementări live.

La sfârșitul acestui curs de formare, participanții vor fi capabili să:

• Înțelegeți modul în care datele grafice sunt persistate și traversate.
• Selectați cel mai bun cadru pentru o anumită sarcină (de la baze de date grafice la cadre de procesare pe loturi.)
.
• Implementați Hadoop, Spark, GraphX și Pregel pentru a efectua calculul grafic pe mai multe mașini în paralel.
.
• Veziți problemele de big data din lumea reală în termeni de grafuri, procese și traversări.
.

MLlib este biblioteca Spark de învățare automată (ML). Scopul său este de a face învățarea practică a mașinilor scalabilă și ușoară. Se compune din algoritmi și utilități comune de învățare, inclusiv clasificarea, regresia, gruparea, filtrarea colaborativă, reducerea dimensiunilor, precum și primitivele de optimizare la nivel inferior și API-urile de conducte de nivel superior.

Se împarte în două pachete:

• spark.mllib conține API original construit pe partea de sus RDDs.

• spark.ml furnizează API de nivel superior construit pe partea de sus a DataFrames pentru construirea conductelor ML.

Public

Acest curs este adresat inginerilor și dezvoltatorilor care încearcă să utilizeze o mașină de bibliotecă construită pentru Apache Spark

Formatul cursului

• Curs interactiv și discuții.
.
• O mulțime de exerciții și practică.
.
• Implementare practică într-un mediu live-lab.
.

Opțiuni de personalizare a cursului

• Pentru a solicita o formare personalizată pentru acest curs, vă rugăm să ne contactați pentru a aranja.