IMPLEMENTACIÓN DE UN PIPELINE ELT EN UN ENTORNO DATA LAKEHOUSE CON MINIO, AIRFLOW, DBT Y DREMIO

Abstract

ESTE TRABAJO DE FIN DE GRADO PRESENTA EL DESARROLLO DE UN PIPELINE ELT EN UN ECOSISTEMA DATA LAKEHOUSE, APLICANDO TéCNICAS áGILES DE GESTIóN PARA GARANTIZAR UNA ENTREGA ITERATIVA Y ADAPTATIVA. LA SOLUCIóN SE BASA EN TECNOLOGíAS MODERNAS DE GESTIóN Y PROCESAMIENTO DE DATOS, INCLUYENDO MINIO PARA ALMACENAMIENTO DISTRIBUIDO, AIRFLOW PARA LA ORQUESTACIóN DE FLUJOS DE TRABAJO, DBT PARA LA TRANSFORMACIóN DE DATOS Y DREMIO CON ICEBERG Y NESSIE PARA LA GESTIóN DE METADATOS Y CONSULTAS ANALíTICAS. EL ENFOQUE áGIL PERMITE UNA IMPLEMENTACIóN FLEXIBLE Y OPTIMIZADA, ASEGURANDO LA EFICIENCIA EN LA INGESTA, PROCESAMIENTO Y ANáLISIS DE DATOS.