Extract, Transform, Load. Cómo se mueven los datos entre sistemas — y por qué es la mitad infravalorada de cualquier proyecto de datos.
Categoría · Datos y Analytics
Qué logran el ETL y las data pipelines.
ETL significa Extract, Transform, Load: los datos se extraen de los sistemas de origen, se ponen en forma y se escriben en un sistema de destino. Una data pipeline es el flujo orquestado y repetible que lo automatiza: planificado, supervisado, tolerante a fallos.
El orden varía: en ELT primero se cargan en crudo y se transforman en el sistema de destino. Eso desplaza la carga hacia donde hoy la potencia de cálculo es barata: al warehouse.
Dónde nos compensan las pipelines.
Construimos y operamos pipelines allí donde los datos deben moverse entre sistemas sin que alguien copie CSVs de un lado a otro por las mañanas: del CRM al warehouse, de los eventos de la tienda al analytics, del ERP al reporting. Con un esquema claro, idempotencia y alerting cuando una ejecución se rompe.
La mitad subestimada.
Las pipelines son invisibles mientras funcionan, y por eso están crónicamente infrapresupuestadas. El esfuerzo no está en la primera ejecución, sino en lidiar con cambios de esquema, registros duplicados y sistemas de origen que renombran campos sin avisar. Quien no lo prevé en el proyecto de datos, lo paga después como basura de datos.