Extract, Transform, Load. Como os dados circulam entre sistemas — e porque é a metade subestimada de qualquer projeto de dados.
Categoria · Dados & Analytics
O que fazem o ETL e as data pipelines.
ETL significa Extract, Transform, Load: os dados são extraídos dos sistemas de origem, postos em forma e escritos num sistema de destino. Uma data pipeline é o fluxo orquestrado e repetível que automatiza isto — agendado, monitorizado, tolerante a falhas.
A ordem varia: no ELT carrega-se primeiro em bruto e transforma-se no sistema de destino. Isto desloca a carga para onde, hoje, a capacidade de cálculo é barata — para o warehouse.
Onde as pipelines compensam connosco.
Construímos e operamos pipelines onde os dados têm de circular entre sistemas, sem que alguém de manhã copie CSVs de um lado para o outro: do CRM para o warehouse, dos eventos da loja para o analytics, do ERP para o reporting. Com schema claro, idempotência e alerting quando uma execução falha.
A metade subestimada.
As pipelines são invisíveis enquanto correm — e, por isso, cronicamente subdimensionadas em orçamento. O esforço não está na primeira execução, mas em lidar com mudanças de schema, registos duplicados e sistemas de origem que renomeiam campos sem aviso. Quem não conta com isto num projeto de dados, paga-o mais tarde em lixo de dados.