Extract, Transform, Load. Hoe data tussen systemen reist — en waarom dat de onderschatte helft van elk dataproject is.
Categorie · Data & Analytics
Wat ETL en data pipelines leveren.
ETL staat voor Extract, Transform, Load: data wordt uit bronsystemen getrokken, in vorm gebracht en in een doelsysteem geschreven. Een data pipeline is het georkestreerde, herhaalbare proces dat dit automatiseert — gepland, bewaakt, fouttolerant.
De volgorde varieert: bij ELT laadt u eerst ruw en transformeert u in het doelsysteem. Dat verschuift de last naar waar rekenkracht tegenwoordig goedkoop is — naar het warehouse.
Waar pipelines bij ons werken.
Wij bouwen en beheren pipelines waar data tussen systemen moet bewegen, zonder dat iemand 's ochtends CSV's heen en weer kopieert: CRM naar warehouse, shop-events naar analytics, ERP naar reporting. Met een helder schema, idempotentie en alerting wanneer een run breekt.
De onderschatte helft.
Pipelines zijn onzichtbaar zolang ze draaien — en daarmee chronisch onderbegroot. De inspanning zit niet in de eerste run, maar in het omgaan met schemawijzigingen, dubbele records en bronsystemen die zonder waarschuwing velden hernoemen. Wie daar bij het dataproject geen rekening mee houdt, betaalt het later als datarommel.