Construisez des pipelines de donnees performants avec Lakehouse, PySpark et Delta Lake sur Microsoft Fabric
Concevoir une architecture Lakehouse avancee - Modelisation medallion (Bronze/Silver/Gold), partitionnement, optimisation des tables Delta
Maitriser PySpark dans Fabric - Transformations complexes, jointures, fonctions fenetrees, UDF et optimisation des performances
Gerer les donnees avec Delta Lake - Time travel, MERGE (upsert), compaction, vacuum et gestion de schema evolution
Orchestrer des pipelines complexes - Data Factory avance, parametrisation, gestion d'erreurs, ingestion incrementale
Integrer les sources de donnees heterogenes - API REST, fichiers cloud, bases SQL, streaming avec Eventstream
Mettre en place la gouvernance des donnees - Lineage, securite, monitoring des pipelines et bonnes pratiques DevOps
Bronze / Silver / Gold sur Lakehouse
Transformations complexes et optimisation
Formation dispensee en francais ou en anglais
Architecture medallion (Bronze/Silver/Gold) : principes, avantages, implementation
OneLake en profondeur : shortcuts, mirroring, organisation des donnees
Data Factory avance : parametrisation de pipelines, variables, expressions dynamiques
Ingestion incrementale : watermark, change data capture, pattern SCD Type 2
Gestion d'erreurs et logging dans les pipelines
Atelier pratique : Construire un pipeline d'ingestion incrementale multi-sources avec gestion d'erreurs
PySpark avance : fonctions fenetrees (window functions), aggregations complexes, pivot
Optimisation Spark : partitionnement, caching, broadcast joins, plan d'execution
Delta Lake en profondeur : MERGE (upsert), DELETE, UPDATE avec predicats
Time travel et versionning : restauration, audit, comparaison de versions
Schema evolution et enforcement : gestion des schemas evoluant dans le temps
Atelier pratique : Transformer les donnees Bronze en Silver puis Gold avec PySpark et Delta MERGE
Eventstream : ingestion de donnees en temps reel depuis Event Hubs, IoT
Data Warehouse dans Fabric : SQL endpoint, vues, procedures stockees T-SQL
Securite et gouvernance : RLS, CLM, lineage des donnees, Microsoft Purview
Monitoring et DevOps : deploiement de pipelines, Git integration, CI/CD
Projet final : Architecture data platform complete - ingestion multi-sources, transformation medallion, gouvernance et monitoring
Connaissance de SQL - Maitrise des SELECT, JOIN, GROUP BY, sous-requetes
Notions de Python - Variables, boucles, fonctions (les bases de PySpark sont couvertes)
Connaissance de base de Microsoft Fabric - Avoir suivi le Bootcamp Fabric Foundation ou equivalent
Experience avec les donnees - Avoir deja travaille avec des fichiers CSV, bases de donnees ou outils BI
Data engineers - Qui veulent maitriser le Lakehouse et les pipelines de donnees sur Fabric
Developpeurs Spark/Databricks - Qui souhaitent migrer vers l'ecosysteme Microsoft Fabric
Architectes data - Qui doivent concevoir des architectures data modernes sur Fabric
Ingenieurs ETL/SSIS - Qui veulent evoluer vers le Data Engineering moderne avec Spark
Equipes internationales - Formation dispensee en francais ou en anglais
Decouverte Fabric • 599€ • 2j
Real-Time Analytics • 599€ • 2j
BI Analytics • 799€ • 3j