Curs de pregatire Workshop de migrare Databricks: De la proceduri stocate la Lakehouse (intensiv de 5 zile)

Introducere, obiective și strategie de migrare

• Obiectivele cursului, alinierea profilului participanților și criterii de succes
• Abordări de migrare la nivel înalt și considerente de risc
• Configurarea workspace-urilor, repository-urilor și seturilor de date de laborator

Ziua 1 — Fundamentele migrării și arhitectura

• Concepte Lakehouse, prezentare Delta Lake și arhitectura Databricks
• Diferențele dintre SMP și MPP și implicațiile pentru migrare
• Design Medallion (Bronze→Silver→Gold) și prezentare Unity Catalog

Laborator Ziua 1 — Traducerea unei proceduri stocate

• Migrare practică a unei proceduri stocate de probă într-un notebook
• Maparea tabelelor temporare și a cursoarelor la transformări DataFrame
• Validare și comparare cu rezultatul original

Ziua 2 — Delta Lake avansat și încărcare incrementală

• Tranzacții ACID, commit logs, versionare și time travel
• Auto Loader, pattern-uri MERGE INTO, upsert-uri și evoluția schemei
• OPTIMIZE, VACUUM, Z-ORDER, partiționare și storage tuning

Laborator Ziua 2 — Ingestie incrementală și optimizare

• Implementarea ingestiei cu Auto Loader și a workflow-urilor MERGE
• Aplicarea OPTIMIZE, Z-ORDER și VACUUM; validarea rezultatelor
• Măsurarea îmbunătățirilor de performanță la citire/scriere

Ziua 3 — SQL în Databricks, performanță și debugging

• Funcționalități SQL analitice: window functions, funcții de ordin superior, gestionare JSON/array
• Citirea Spark UI, DAG-uri, shuffle-uri, stage-uri, task-uri și diagnosticarea blocajelor
• Pattern-uri de query tuning: broadcast joins, hint-uri, caching și reducerea spill-ului

Laborator Ziua 3 — Refactorizare SQL și performance tuning

• Refactorizarea unui proces SQL greoi în Spark SQL optimizat
• Folosirea urmelor din Spark UI pentru a identifica și remedia problemele de skew și shuffle
• Benchmark înainte/după și documentarea pașilor de tuning

Ziua 4 — PySpark tactic: Înlocuirea logicii procedurale

• Modelul de execuție Spark: driver, executors, lazy evaluation și strategii de partiționare
• Transformarea buclelor și a cursoarelor în operații vectorizate cu DataFrame
• Modularizare, UDF-uri/pandas UDF-uri, widget-uri și biblioteci reutilizabile

Laborator Ziua 4 — Refactorizarea scripturilor procedurale

• Refactorizarea unui script ETL procedural în notebook-uri PySpark modulare
• Introducerea parametrizării, a testelor de tip unit și a funcțiilor reutilizabile
• Code review și aplicarea checklist-ului de best practices

Ziua 5 — Orchestrație, pipeline end-to-end și best practices

• Databricks Workflows: design-ul job-urilor, dependențele dintre task-uri, trigger-e și gestionarea erorilor
• Proiectarea pipeline-urilor Medallion incrementale cu reguli de calitate și validare de schemă
• Integrarea cu Git (GitHub/Azure DevOps), CI și strategii de testare pentru logica PySpark

Laborator Ziua 5 — Construirea unui pipeline complet end-to-end

• Asamblarea unui pipeline Bronze→Silver→Gold orchestrat cu Workflows
• Implementarea logging-ului, auditării, reîncercărilor și validărilor automate
• Rularea pipeline-ului complet, validarea rezultatelor și pregătirea notelor de deployment

Operaționalizare, guvernanță și pregătirea pentru producție

• Guvernanța Unity Catalog, lineage și best practices pentru controlul accesului
• Costuri, dimensionarea clusterelor, autoscaling și pattern-uri de concurență a job-urilor
• Checklist-uri de deployment, strategii de rollback și crearea de runbook-uri

Revizuire finală, transfer de cunoștințe și pașii următori

• Prezentări ale participanților despre munca de migrare și lecțiile învățate
• Analiza gap-urilor, activități de follow-up recomandate și predarea materialelor de training
• Referințe, căi suplimentare de învățare și opțiuni de suport