Extract, Transform, Load. Come i dati passano tra i sistemi — e perché è la metà sottovalutata di ogni progetto dati.
Categoria · Dati & Analytics
Cosa fanno ETL e data pipeline.
ETL sta per Extract, Transform, Load: i dati vengono estratti dai sistemi sorgente, messi in forma e scritti in un sistema di destinazione. Una data pipeline è il flusso orchestrato e ripetibile che automatizza tutto questo — pianificato, monitorato, tollerante ai guasti.
L'ordine varia: con l'ELT si caricano prima i dati grezzi e si trasformano nel sistema di destinazione. Questo sposta il carico dove oggi la potenza di calcolo è economica: nel warehouse.
Dove le pipeline reggono per noi.
Costruiamo e gestiamo pipeline dove i dati devono spostarsi tra sistemi senza che ogni mattina qualcuno copi CSV da una parte all'altra: dal CRM al warehouse, dagli eventi dello shop all'analytics, dall'ERP al reporting. Con schema chiaro, idempotenza e alerting quando un'esecuzione si rompe.
La metà sottovalutata.
Le pipeline sono invisibili finché funzionano — e per questo cronicamente sottofinanziate. Lo sforzo non sta nella prima esecuzione, ma nella gestione dei cambiamenti di schema, dei record duplicati e dei sistemi sorgente che rinominano campi senza preavviso. Chi non lo mette in conto nel progetto dati, lo paga più tardi sotto forma di dati spazzatura.