Ediciones ENI Editorial | líder en informática
Automatizar su pipeline
Introducción a los ETL y la automatización de pipelines de datos
1. Definición e importancia de los ETL
ETL, acrónimo de Extract, Transform, Load (extraer, transformar y cargar), es un proceso fundamental en el campo de la gestión y el análisis de datos. Desempeña un papel importante en la preparación e integración de datos procedentes de fuentes distintas para hacerlos utilizables y relevantes para el análisis y la toma de decisiones.
La fase de extracción implica la recopilación de datos en bruto de múltiples fuentes, pudiendo incluir bases de datos relacionales, archivos planos, API web o su CRM. Esta fase suele implicar la gestión de diferentes formatos de datos y protocolos de comunicación.
La transformación es la fase en la que los datos extraídos se limpian, normalizan y enriquecen. Esto puede implicar la corrección de errores, la gestión de los valores que faltan, la conversión de formatos, la agregación de datos o la aplicación de reglas de negocio complejas. El objetivo es preparar los datos para que sean coherentes, precisos y adecuados a las necesidades de análisis.
Por último, la carga consiste en insertar los datos transformados en un sistema de destino, generalmente un almacén de datos (Data Warehouse) o un lago de datos (Data Lake). Esta última etapa debe realizarse de forma eficiente...
Apache Airflow: una potente herramienta para orquestar workflows
1. Presentación de Airflow
Apache Airflow es una plataforma de gestión y orquestación de workflows de código abierto, desarrollada originalmente por Airbnb en 2014 y convertida en proyecto de la Apache Software Foundation en 2019. Diseñada para ser extensible, fácil de usar y flexible, Airflow se estableció rápidamente como una de las herramientas más populares para orquestar pipelines de datos complejas.
Airflow permite a los Data Engineers y a los Data Scientists programar, planificar y supervisar workflows de datos mediante programación. Ofrece una interfaz de usuario web intuitiva para visualizar los pipelines, supervisar su progreso y resolver cualquier problema. La fuerza de Airflow reside en su capacidad para gestionar dependencias complejas entre tareas, integrarse con multitud de sistemas externos y adaptarse a entornos de todos los tamaños, desde pequeños proyectos de ciencia de datos hasta infraestructuras empresariales a gran escala.
2. Conceptos clave: DAG, Tasks, Operators
Para entender Airflow, es esencial dominar sus conceptos fundamentales:
-
DAG: un DAG es la representación conceptual de un workflow en Airflow. Es un grafo dirigido sin ciclos, donde cada nodo es una tarea y las aristas representan las dependencias entre estas tareas. Los DAG definen la estructura y el orden de ejecución de las tareas, así como su frecuencia de ejecución.
-
Tasks: las tareas son unidades individuales de trabajo dentro de un DAG. Cada tarea representa una operación específica, como extraer datos de una fuente, realizar una transformación o cargarlos en un destino. Las tareas se organizan y conectan en el DAG para formar el workflow completo.
-
Operators: los operadores son clases predefinidas que encapsulan...
Luigi: una alternativa ligera para la automatización de tareas
1. Introducción a Luigi
Luigi es un framework Python de código abierto desarrollado por Spotify para construir complejos pipelines de datos. Diseñado para ser sencillo y ligero, Luigi frece un enfoque intuitivo para crear y gestionar workflows de procesamiento de datos. A diferencia de Airflow, que se centra en la orquestación general de workflows, Luigi está más específicamente orientado a la construcción de pipelines de datos en Python.
El principal objetivo de Luigi es resolver dos problemas habituales en los workflows de datos:
-
la gestión de las dependencias entre tareas;
-
la elegancia con la que se gestionan los fallos.
Luigi permite a los profesionales de los datos definir cadenas de tareas interdependientes, en las que cada tarea produce un resultado que puede utilizarse como entrada para las tareas posteriores. Este enfoque fomenta la modularidad y la reutilización del código, a la vez que simplifica la gestión de pipelines complejos.
2. Conceptos fundamentales: Tasks, Targets, Parameters
Para entender a Luigi, es esencial dominar sus conceptos fundamentales:
-
Tasks: las tareas son los componentes básicos de Luigi. Cada tarea es una unidad de trabajo que realiza una operación específica, como descargar datos, transformarlos o cargarlos en una base de datos. Las tareas se definen como clases Python que heredan de luigi.Task.
-
Targets: los targets representan la salida de una tarea. Pueden ser archivos del sistema de archivos local, tablas de una base de datos o incluso recursos remotos. Los targets se utilizan para determinar si una tarea ya se ha ejecutado correctamente, evitando así cálculos redundantes.
-
Parameters: los parámetros se utilizan para configurar dinámicamente las tareas. Pueden utilizarse para especificar fechas, rutas de archivos u otros valores que influyan en el comportamiento de una tarea. Los parámetros facilitan la reutilización de código y la creación de workflows flexibles.
Ahora podemos pasar a la instalación.
3. Instalación y configuración
La instalación de Luigi es simple y directa, utilizando pip:
pip install luigi A diferencia de Airflow, Luigi no requiere para funcionar una configuración compleja ni una base de datos dedicada. Sin embargo, para proyectos más...
Comparación entre Airflow y Luigi
Airflow y Luigi son dos herramientas líderes para la automatización de pipelines de datos, cada una de las cuales ofrece un enfoque único a los retos de la orquestación de workflows. Aunque comparten el objetivo común de simplificar la gestión de tareas complejas de procesamiento de datos, sus filosofías de diseño y funcionalidad difieren considerablemente. Esta comparación en profundidad pretende destacar estas diferencias, ayudando a los equipos a elegir la herramienta que mejor se adapte a sus necesidades específicas.
1. Arquitectura y diseño
Airflow adopta una robusta arquitectura distribuida, diseñada para satisfacer las necesidades de los entornos empresariales a gran escala. En el corazón de su funcionamiento se encuentra un programador centralizado, que orquesta la ejecución de tareas a través de un clúster de máquinas. Este enfoque permite a Airflow gestionar eficazmente miles de tareas simultáneas, lo que lo hace especialmente adecuado para workflows complejos y grandes pipelines de datos. Para apoyar esta arquitectura, Airflow se basa en una base de datos central que almacena metadatos de trabajo, el estado de los workflows y la información de programación. Esta base de datos desempeña un papel crucial en la coordinación de los distintos componentes de Airflow y permite una rápida recuperación en caso de avería.
Luigi, en cambio, adopta un enfoque más ligero y flexible. Diseñado inicialmente como una herramienta de procesamiento de datos para los equipos de ciencia de datos de Spotify, Luigi se centra en la simplicidad y la facilidad de uso. Su arquitectura es menos compleja que la de Airflow, lo que se traduce en una instalación y configuración más sencillas. Por defecto, Luigi funciona principalmente en modo local, lo que lo hace especialmente adecuado para proyectos de tamaño medio o equipos que prefieren una solución más directa. Sin embargo, es importante señalar que Luigi también puede configurarse para funcionar en un entorno distribuido aunque, en comparación a Airflow, esta configuración requiere más esfuerzo por parte de los usuarios.
2. Definición y gestión de workflows
La forma en que Airflow y Luigi abordan la definición...
Buenas prácticas para diseñar pipelines de datos con Python
El diseño eficaz de pipelines de datos es un arte que combina principios de ingeniería de software, conocimientos de procesamiento de datos y comprensión de los requisitos empresariales. Tanto si utiliza Airflow, Luigi o cualquier otra herramienta de orquestación, ciertas prácticas recomendadas son universales y esenciales para crear pipelines sólidos, mantenibles y escalables. Esta sección explora estas prácticas clave en el contexto del uso de Python para ETL y la automatización de pipelines de datos.
1. Modularidad y reutilización del código
La modularidad es un principio fundamental en el desarrollo de software, y es especialmente relevante en el diseño de pipelines de datos. Un pipeline modular divide el proceso global en componentes más pequeños e independientes, cada uno de los cuales es responsable de una tarea específica. Este enfoque tiene varias ventajas. En primer lugar, mejora la legibilidad del código, permitiendo a los desarrolladores comprender rápidamente la función de cada parte del pipeline. Además, la modularidad facilita el mantenimiento y las actualizaciones, ya que pueden introducirse cambios en componentes específicos sin afectar a todo el sistema.
Para lograr una buena modularidad, empiece por identificar las distintas etapas de su proceso ETL. Cada paso importante, como extraer datos de una fuente específica, realizar una transformación concreta o cargarlos en un destino, debe encapsularse en su propia función o clase. Por ejemplo, podría tener clases separadas para DataExtractor, DataTransformery DataLoader.
La reutilización va de la mano de la modularidad. Si diseña sus componentes de forma genérica y configurable, podrá reutilizarlos en diferentes contextos o pipelines. Por ejemplo, una función de limpieza de datos podría diseñarse para aceptar diferentes tipos de datos de entrada, lo que la haría reutilizable en diferentes escenarios.
He aquí un ejemplo sencillo que ilustra estos principios:
class DataExtractor:
def extract(self, source):
# Lógica de extracción genérica
pass
class DataTransformer: ...Caso práctico: creación de un pipeline ETL completo
Para ilustrar de forma concreta la aplicación de los conceptos y buenas prácticas que hemos visto hasta ahora, vamos a desarrollar un caso práctico para la creación de un pipeline ETL completo. Este caso de uso nos permitirá comparar los enfoques utilizando Airflow y Luigi, a la vez que implementamos los principios de diseño robusto que hemos abordado.
1. Definición de requisitos y flujo de datos
En este caso práctico, exploraremos el diseño y la implementación de un pipeline ETL para procesar datos de Olist, un conjunto de datos de un e-commerce brasileño. El objetivo de este ejercicio es demostrar cómo utilizar Apache Airflow y Python para crear un canal de procesamiento de datos automatizado y robusto. Este pipeline está diseñado para ser ejecutado diariamente, asegurando que los datos estén siempre actualizados para su análisis. A través de este ejemplo concreto, exploraremos las mejores prácticas en ingeniería de datos y automatización de flujos de trabajo.
a. Estructura del código
El pipeline ETL se implementa a través de dos archivos principales:
-
un archivo etl_functions.py que contiene las principales funciones para extraer, transformar y cargar datos;
-
un archivo Airflow DAG que orquesta la ejecución de estas funciones en un pipeline automatizado.
b. Funciones ETL (etl_functions.py)
El archivo etl_functions.py define varias funciones clave:
-
extract(): descarga el conjunto de datos Olist de Kaggle y lo extrae en una carpeta especificada;
-
clean_olist_data(): realiza una limpieza básica de los datos de Olist, eliminando las columnas irrelevantes y convirtiendo las columnas de fecha;
-
transform(): aplica la función de limpieza a cada archivo CSV del conjunto de datos Olist y guarda las versiones limpiadas;
-
load_processed_data(): carga archivos CSV depurados en DataFrames pandas;
-
load_to_database(): carga los datos transformados en una base de datos SQLite.
Estas funciones utilizan bibliotecas comunes de Python como pandas para la manipulación de datos, kaggle para la extracción de datos y sqlite3 para la interacción con bases de datos.
c. DAG Airflow
El DAG de Airflow define y orquesta la ejecución secuencial de las tareas ETL:
-
La tarea extract_data utiliza la función extract()...
Conclusión y perspectivas
1. Resumen de los puntos claves
A lo largo de este capítulo, hemos explorado en profundidad el campo de ETL y la automatización de pipelines de datos. He aquí un resumen de los puntos claves tratados:
Importancia de ETL: hemos visto cómo los procesos ETL son cruciales para transformar los datos brutos en información utilizable, lo que subraya su papel central en la toma de decisiones basada en datos.
Automatización de pipelines: hablamos de las ventajas de la automatización, como la mejora de la eficacia, la reducción de errores y la capacidad de gestionar volúmenes de datos cada vez mayores.
Herramientas de orquestación: examinamos en detalle dos herramientas principales, Apache Airflow y Luigi, comparando sus respectivos enfoques, puntos fuertes y casos de uso.
Buenas prácticas: hemos tratado una serie de prácticas recomendadas esenciales para diseñar pipelines sólidos, como la modularidad, la gestión de errores, el logging, las pruebas y la documentación.
Caso práctico: ponemos en práctica estos conceptos a través de un caso práctico concreto, implementando un pipeline ETL completo con Airflow y Luigi, ilustrando las diferencias de enfoque entre estas dos herramientas.
Estos elementos proporcionan una base sólida para el diseño y la implementación de pipelines de datos eficientes...