Schița de curs
Introducere în platforma Stratio
- Prezentare generală a arhitecturii Stratio și a modulelor de bază
- Rolul modulelor Rocket și Intelligence în ciclul de viață al datelor
- Autentificarea și navigarea în interfața Stratio
Lucrul cu modulul Rocket
- Ingererea datelor și crearea de pipeline-uri
- Conectarea surselor de date și configurarea transformărilor
- Utilizarea PySpark pentru sarcini de preprocesare în Rocket
Elemente esențiale ale PySpark pentru utilizatorii Stratio
- Structuri și operații de date în PySpark
- Constructe de buclă: utilizarea for, while, if/else
- Scrierea funcțiilor personalizate cu def și aplicarea lor
Utilizarea avansată a Rocket cu PySpark
- Ingerere și transformări în flux
- Utilizarea buclelor și funcțiilor în scenarii batch și în timp real
- Bune practici pentru performanța în pipeline-urile PySpark
Explorarea modulului Intelligence
- Prezentare generală a caracteristicilor de modelare și analiză a datelor
- Selectarea, transformarea și explorarea caracteristicilor
- Rolul PySpark în analizele personalizate și înțelegerile obținute
Construirea fluxurilor de lucru de analiză avansată
- Crearea funcțiilor definite de utilizator (UDF) în Intelligence
- Aplicarea condiționalelor și buclelor pentru logica datelor
- Cazuri de utilizare: segmentare, agregare și predicție
Implementare și colaborare
- Salvarea, exportarea și reutilizarea fluxurilor de lucru
- Colaborarea cu alți membri ai echipei pe Stratio
- Revizuirea rezultatelor și integrarea cu instrumente downstream
Rezumat și pași următori
Cerințe
- Experiență în programarea Python
- Înțelegerea conceptelor de analiză de date sau procesare a datelor mari
- Cunoștințe de bază despre Apache Spark și calculul distribuit
Publicul țintă
- Ingineri de date care lucrează pe platforme bazate pe Stratio
- Analiști sau developeri care utilizează modulele Rocket și Intelligence
- Echipe tehnice care trec la fluxuri de lucru PySpark în Stratio
Mărturii (3)
Făcerea exercițiilor
Joe Pang - Lands Department, Hong Kong
Curs - QGIS for Geographic Information System
Tradus de catre o masina
Exemplele practice ne-au permis să ne facem o idee clară despre modul în care funcționează programa. Explicațiile bune și integrarea conceptelor teoretice cu aplicările practice au fost apreciate.
Ian - Archeoworks Inc.
Curs - ArcGIS Fundamentals
Tradus de catre o masina
Mă bucur că voi avea din nou un antrenament cu Any, el a fost foarte bun, eu sunt doar un specialist GIS, dar Any mi-a explicat totul clar, desfășurând procese complexe în termeni simpli. Ștergeți-o pe această linie, vă mulțumesc.
Lwazi Qhingana - South African National Roads Agency (SANRAL) SOC Ltd
Curs - Python for Geographic Information System (GIS)
Tradus de catre o masina
