Extract, Transform, Load. Comment les données circulent entre systèmes — et pourquoi c'est la moitié sous-estimée de tout projet data.
Catégorie · Données & Analytics
Ce qu'apportent l'ETL et les data pipelines.
ETL signifie Extract, Transform, Load : les données sont extraites des systèmes sources, mises en forme et écrites dans un système cible. Une data pipeline est le flux orchestré et répétable qui automatise cela — planifié, surveillé, tolérant aux pannes.
L'ordre varie : avec l'ELT, on charge d'abord les données brutes et on les transforme dans le système cible. Cela déplace la charge là où la puissance de calcul est aujourd'hui bon marché — dans le warehouse.
Là où les pipelines tiennent la route chez nous.
Nous construisons et exploitons des pipelines là où les données doivent circuler entre systèmes sans que quiconque ne copie des CSV à la main chaque matin : du CRM vers le warehouse, des événements e-commerce vers l'analytics, de l'ERP vers le reporting. Avec un schéma clair, de l'idempotence et des alertes lorsqu'un run échoue.
La moitié que l'on sous-estime.
Les pipelines sont invisibles tant qu'elles tournent — et donc chroniquement sous-budgétées. L'effort n'est pas dans le premier run, mais dans la gestion des changements de schéma, des doublons et des systèmes sources qui renomment des champs sans prévenir. Qui ne le prévoit pas dans un projet data le paie ensuite en déchet de données.