Schița de curs
Introducere în platforma Stratio
- Prezentare generală a arhitecturii Stratio și a modulelor de bază
- Rolul modulelor Rocket și Intelligence în ciclul de viață al datelor
- Autentificarea și navigarea în interfața Stratio
Lucrul cu modulul Rocket
- Ingererea datelor și crearea de pipeline-uri
- Conectarea surselor de date și configurarea transformărilor
- Utilizarea PySpark pentru sarcini de preprocesare în Rocket
Elemente esențiale ale PySpark pentru utilizatorii Stratio
- Structuri și operații de date în PySpark
- Constructe de buclă: utilizarea for, while, if/else
- Scrierea funcțiilor personalizate cu def și aplicarea lor
Utilizarea avansată a Rocket cu PySpark
- Ingerere și transformări în flux
- Utilizarea buclelor și funcțiilor în scenarii batch și în timp real
- Bune practici pentru performanța în pipeline-urile PySpark
Explorarea modulului Intelligence
- Prezentare generală a caracteristicilor de modelare și analiză a datelor
- Selectarea, transformarea și explorarea caracteristicilor
- Rolul PySpark în analizele personalizate și înțelegerile obținute
Construirea fluxurilor de lucru de analiză avansată
- Crearea funcțiilor definite de utilizator (UDF) în Intelligence
- Aplicarea condiționalelor și buclelor pentru logica datelor
- Cazuri de utilizare: segmentare, agregare și predicție
Implementare și colaborare
- Salvarea, exportarea și reutilizarea fluxurilor de lucru
- Colaborarea cu alți membri ai echipei pe Stratio
- Revizuirea rezultatelor și integrarea cu instrumente downstream
Rezumat și pași următori
Cerințe
- Experiență în programarea Python
- Înțelegerea conceptelor de analiză de date sau procesare a datelor mari
- Cunoștințe de bază despre Apache Spark și calculul distribuit
Publicul țintă
- Ingineri de date care lucrează pe platforme bazate pe Stratio
- Analiști sau developeri care utilizează modulele Rocket și Intelligence
- Echipe tehnice care trec la fluxuri de lucru PySpark în Stratio
Mărturii (3)
Aflarea despre QGIS și un instrument care poate fi utilizat de către alți profesioniști din diferite domenii, precum topografii
Bame Duncan Koko - Bentel Technologies (Pty) Ltd
Curs - QGIS for Geographic Information System
Tradus de catre o masina
Cum să folosești datele satelitare deschise pentru aplicații reale
Tshering Dorji - Druk Holding and Investments
Curs - Advanced Geographic Information Systems (GIS)
Tradus de catre o masina
Exemplele practice ne-au permis să ne facem o idee clară despre modul în care funcționează programa. Explicațiile bune și integrarea conceptelor teoretice cu aplicările practice au fost apreciate.
Ian - Archeoworks Inc.
Curs - ArcGIS Fundamentals
Tradus de catre o masina