Mulțumim pentru trimiterea solicitării! Un membru al echipei noastre vă va contacta în curând.
Mulțumim pentru trimiterea rezervării! Un membru al echipei noastre vă va contacta în curând.
Schița de curs
Recapitulare a elementelor de bază ale Apache Airflow
- Concepte de bază: DAG-uri, operatori și fluxul de execuție
- Arhitectura și componentele Airflow
- Înțelegerea cazurilor de utilizare avansată și a fluxurilor de lucru
Crearea operatorilor personalizați
- Înțelegerea anatomiei unui operator Airflow
- Dezvoltarea operatorilor personalizați pentru sarcini specifice
- Testarea și depanarea operatorilor personalizați
Hook-uri și senzori personalizați
- Implementarea hook-urilor pentru integrarea sistemelor externe
- Crearea senzorilor pentru monitorizarea declanșatorilor externi
- Îmbunătățirea interactivității fluxurilor de lucru cu senzori personalizați
Dezvoltarea plugin-urilor Airflow
- Înțelegerea arhitecturii plugin-urilor
- Proiectarea plugin-urilor pentru extinderea funcționalității Airflow
- Cele mai bune practici pentru gestionarea și implementarea plugin-urilor
Integrarea Airflow cu sisteme externe
- Conectarea Airflow la baze de date, API-uri și servicii cloud
- Utilizarea Airflow pentru fluxuri de lucru ETL și procesarea de date în timp real
- Gestionarea dependențelor între Airflow și sistemele externe
Depanare și monitorizare avansată
- Utilizarea jurnalelor și metricilor Airflow pentru depanare
- Configurarea alertelor și notificărilor pentru problemele fluxurilor de lucru
- Utilizarea instrumentelor externe de monitorizare cu Airflow
Optimizarea performanței și scalabilității
- Scalarea Airflow cu Celery și Kubernetes Executors
- Optimizarea utilizării resurselor în fluxurile de lucru complexe
- Strategii pentru disponibilitate ridicată și toleranță la defecte
Studii de caz și aplicații din lumea reală
- Explorarea cazurilor de utilizare avansată în inginerie de date și DevOps
- Studiu de caz: Implementarea unui operator personalizat pentru ETL la scară largă
- Cele mai bune practici pentru gestionarea fluxurilor de lucru la nivel de întreprindere
Rezumat și pași următori
Cerințe
- Înțelegere solidă a elementelor de bază ale Apache Airflow, inclusiv DAG-uri, operatori și arhitectura de execuție
- Competență în programarea Python
- Experiență în integrarea sistemelor de date și orchestrarea fluxurilor de lucru
Public țintă
- Ingineri de date
- Ingineri DevOps
- Arhitecți de software
21 Ore
Mărturii (1)
Instrucționarul a adaptat instruirea la nivelul participanților și a răspuns la toate întrebările. El a fost foarte comunicativ, iar interacțiunea cu el a fost ușoară. Am apreciat foarte mult formatul instruirii, care includea multe exerciții practice. În ansamblu, a fost o sesiune foarte implicantă și bine organizată.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Curs - Apache Airflow: Building and Managing Data Pipelines
Tradus de catre o masina
