Schița de curs
Introducere în platforma Stratio
- Prezentare generală a arhitecturii Stratio și a modulelor de bază
- Rolul modulelor Rocket și Intelligence în ciclul de viață al datelor
- Autentificarea și navigarea în interfața Stratio
Lucrul cu modulul Rocket
- Ingerarea datelor și crearea de pipeline-uri
- Conectarea surselor de date și configurarea transformărilor
- Folosirea PySpark pentru sarcini de preprocesare în Rocket
Elemente esențiale de PySpark pentru utilizatorii Stratio
- Structuri de date și operațiuni PySpark
- Constructe repetitive: folosirea for, while, if/else
- Scrierea de funcții personalizate cu def și aplicarea lor
Utilizarea avansată a Rocket cu PySpark
- Ingerare și transformări în timp real (streaming)
- Folosirea buclelor și a funcțiilor în scenarii batch și real-time
- Bune practici pentru performanță în pipeline-urile PySpark
Explorarea modulului Intelligence
- Prezentare generală a funcționalităților de modelare și analiză a datelor
- Selecția, transformarea și explorarea caracteristicilor
- Rolul PySpark în analize personalizate și insight-uri
Construirea fluxurilor de lucru avansate de analiză
- Crearea de funcții definite de utilizator (UDF-uri) în Intelligence
- Aplicarea condiționalelor și a buclelor pentru logica datelor
- Cazuri de utilizare: segmentare, agregare și predicție
Implementare și colaborare
- Salvarea, exportarea și reutilizarea fluxurilor de lucru
- Colaborarea cu alți membri ai echipei pe Stratio
- Revizuirea rezultatelor și integrarea cu instrumente downstream
Rezumat și pași următori
Cerințe
- Experiență în programarea Python
- Înțelegerea conceptelor de analiză a datelor sau procesare big data
- Cunoștințe de bază despre Apache Spark și calcul distribuit
Public țintă
- Ingineri de date care lucrează pe platforme bazate pe Stratio
- Analiști sau dezvoltatori care folosesc modulele Rocket și Intelligence
- Echipe tehnice care fac tranziția către fluxuri de lucru PySpark în Stratio
Mărturii (3)
Aflarea despre QGIS și un instrument care poate fi utilizat de către alți profesioniști din diferite domenii, precum topografii
Bame Duncan Koko - Bentel Technologies (Pty) Ltd
Curs - QGIS for Geographic Information System
Tradus de catre o masina
Cum să folosești datele satelitare deschise pentru aplicații reale
Tshering Dorji - Druk Holding and Investments
Curs - Advanced Geographic Information Systems (GIS)
Tradus de catre o masina
Exemplele practice ne-au permis să ne facem o idee clară despre modul în care funcționează programa. Explicațiile bune și integrarea conceptelor teoretice cu aplicările practice au fost apreciate.
Ian - Archeoworks Inc.
Curs - ArcGIS Fundamentals
Tradus de catre o masina
