Airflow

Airflow est un orchestrateur de workflows orienté data.

Il permet de planifier, structurer et superviser des pipelines de données sous forme de DAG (Directed Acyclic Graph).

Utilisé pour :

• pipelines ETL / ELT
• tâches batch
• entraînement de modèles
• automatisation data
• orchestration multi-services

🧱 Fondamentaux

#

• Concepts clés : DAG, Task, Operator
• Architecture Airflow
• Installation & environnement (Docker)

⚙️ Construire un pipeline

#

• Créer un DAG minimal
• Operators essentiels
• Gestion des dépendances
• Variables, Connections & Secrets

🏗️ Exécution & orchestration

#

• Scheduling & triggers
• Retries, SLA & gestion des erreurs
• XCom & passage de données
• DockerOperator & exécution isolée

📊 Supervision & debugging

#

• Interface Web
• Logs & monitoring
• Bonnes pratiques en production

🧩 Mémo rapide

#

• Commandes essentielles
• Checklist avant mise en prod