Cómo construir tu pipeline de datos
Ya sabes qué datos importan. Ya sabes dónde conseguirlos. Ahora necesitas un sistema para recopilarlos de verdad, almacenarlos y dejarlos listos para el análisis. Ese es tu pipeline de datos.
Un pipeline bien diseñado funciona de forma confiable en segundo plano y recopila datos día y noche, para que estén siempre listos cuando los necesites para backtesting o para señales en vivo.
Visión general de la arquitectura del pipeline
Todo pipeline de datos tiene tres etapas centrales: ingesta (obtener los datos), almacenamiento (guardar los datos) y transformación (hacer que los datos sean útiles).
En un motor de señales de cripto, esto suele significar: llamadas a la API de los proveedores de datos, archivos o bases de datos para almacenar los resultados y scripts de procesamiento para limpiar y normalizar todo.
Veamos cada etapa con consideraciones prácticas.
Etapa 1: ingesta de datos
La ingesta consiste en obtener datos de tus fuentes de forma confiable y eficiente.
La recopilación programada es la base. Vas a ejecutar scripts con una programación de cron (o algo similar) que obtengan datos a intervalos regulares. Para velas de 1 minuto, podrías ejecutarlos cada minuto. Para las tasas de financiamiento, que se actualizan cada 8 horas, los ejecutas tres veces al día. Ajusta la frecuencia de recopilación a la frecuencia de actualización de los datos.
El manejo de la API exige atención a los límites de solicitudes (rate limits) y al manejo de errores. Cuando obtienes datos de 50 monedas desde varios endpoints, vas a chocar con los límites de solicitudes. Agrega pausas entre solicitudes, respeta las pautas del proveedor e incorpora reintentos para las solicitudes fallidas.
Descargas incrementales frente a completas: una vez que tienes datos históricos, solo necesitas obtener los datos nuevos. Eso es la recopilación incremental. Lleva registro de lo que ya recopilaste y pide solo lo que falta. Esto reduce muchísimo las llamadas a la API y el crecimiento del almacenamiento.
La recuperación de errores importa: las API fallan, las redes se caen, los servidores dejan de funcionar. Tu pipeline tiene que manejar los huecos sin romperse. Registra las fallas, genera alertas ante caídas prolongadas y ten procesos para completar los datos faltantes.
Etapa 2: almacenamiento de datos
Tienes dos opciones principales para almacenar: archivos o bases de datos. Las dos funcionan; la elección correcta depende de tu caso de uso.
El almacenamiento en archivos (CSV, Parquet) es simple y flexible. Cada moneda y cada temporalidad tiene su propio archivo. Las actualizaciones agregan filas nuevas. El formato Parquet es especialmente bueno porque comprime bien y permite consultas rápidas por columnas, ideal para datos de series de tiempo.
El enfoque con archivos es más fácil de configurar, más fácil de depurar y más fácil de respaldar. Para muchos traders, es la elección correcta.
El almacenamiento en bases de datos (PostgreSQL, MongoDB, InfluxDB) ofrece consultas más potentes y un mejor manejo del acceso concurrente. Si estás construyendo un sistema en el que varios procesos necesitan leer y escribir al mismo tiempo, o en el que necesitas consultas complejas sobre tus datos, una base de datos tiene sentido.
MongoDB funciona bien para datos alternativos con forma de JSON. PostgreSQL maneja bien las series de tiempo estructuradas. InfluxDB está diseñado específicamente para series de tiempo, si ese es tu caso de uso principal.
Nuestra recomendación para empezar: usa archivos Parquet. Son simples, rápidos y siempre puedes migrar a una base de datos más adelante si hace falta.
Etapa 3: transformación de datos
Los datos en bruto de las API rara vez coinciden con lo que necesitas para el análisis. La transformación cubre esa brecha.
La limpieza se ocupa de los valores faltantes, elimina duplicados y corrige errores evidentes. Un solo dato corrupto puede arruinar un backtest entero.
La normalización pone todo en unidades y formatos coherentes. Distintos exchanges reportan el interés abierto en contratos o en USD, y las marcas de tiempo pueden estar en distintas zonas horarias. Normaliza todo a un formato estándar.
Las métricas derivadas son donde ocurre la magia. A partir de datos en bruto OHLCV y del libro de órdenes, calculas puntuaciones z (z-scores), medias móviles, divergencias y los indicadores personalizados que forman tu ventaja (edge). Aquí es donde tu pipeline se convierte en tu ventaja competitiva.
La alineación entre temporalidades es delicada pero esencial. Si combinas el CVD de 1 minuto con tasas de financiamiento de 4 horas, tienes que alinearlos correctamente. Cada valor de la tasa de financiamiento de 4 horas se aplica a 240 barras de un minuto. Si lo haces mal, introduces sesgo de anticipación (look-ahead bias).
Ejemplo de estructura de un pipeline
Esta es una arquitectura simple pero eficaz:
Un script de recopilación se ejecuta cada minuto y obtiene datos nuevos de la API de tu proveedor. Guarda los datos en bruto en archivos organizados por moneda y endpoint. Un script de procesamiento aparte se ejecuta cada hora: lee los archivos en bruto, limpia los datos, calcula las métricas derivadas y genera archivos Parquet listos para el análisis.
La estructura de carpetas podría verse así: data/raw/BTC/funding_rates/ data/raw/BTC/open_interest/ data/raw/SOL/liquidations/ data/processed/BTC_features.parquet data/processed/SOL_features.parquet
Mantén separados los datos en bruto y los procesados. Inevitablemente vas a querer reprocesarlos a medida que mejores tu lógica de transformación.
Consideraciones prácticas
El espacio de almacenamiento se acumula. Los datos de 1 minuto de 50 monedas con decenas de indicadores a lo largo de varios años ocupan cientos de gigabytes. Planifícalo.
El tiempo de procesamiento importa cuando generas señales en vivo. Si el procesamiento tarda 30 segundos pero necesitas señales cada minuto, tienes un problema. Optimiza las rutas críticas.
El monitoreo te ahorra dolores de cabeza. Registra la salud de tu pipeline. Genera una alerta cuando falle la recopilación. Controla qué tan recientes son los datos. El peor bug es el silencioso, el que corrompe meses de datos antes de que te des cuenta.
El control de versiones de tu lógica de transformación. Cuando cambias cómo se calcula un indicador, quizá tengas que reprocesar los datos históricos. Lleva registro de qué versión de tu código produjo qué datos.
Lo que ejecutamos en TargetHit
Nuestro pipeline recopila datos de HyBlock para 54 monedas, desde 58 endpoints distintos y en 5 temporalidades (1m, 5m, 15m, 1h, 4h). Son muchísimos datos.
Guardamos los datos en bruto en archivos Parquet organizados por moneda, endpoint y temporalidad. Un proceso por lotes procesa los datos nuevos con regularidad y mantiene los conjuntos de datos listos para el análisis.
Los datos procesados alimentan nuestro motor de descubrimiento, que prueba millones de combinaciones de indicadores en busca de ventajas estadísticas. Esto solo es posible porque el pipeline entrega datos limpios, completos y bien alineados.
Cómo empezar
No intentes construir el pipeline perfecto el primer día. Empieza simple:
Elige una moneda y una fuente de datos. Escribe un script que obtenga datos y los guarde en un CSV. Ejecútalo a mano unas cuantas veces para verificar que funciona. Configura un cron job para que se ejecute automáticamente. Monitoréalo durante una semana para detectar casos límite.
Cuando eso funcione de forma confiable, amplía: más monedas, más endpoints, un almacenamiento más sofisticado. Agrega la transformación. Avanza hacia tu arquitectura completa de forma incremental.
El peor error es construir un sistema elaborado que no entiendes cuando se rompe. Empieza simple y agrega complejidad solo cuando haga falta.
Puntos clave
Un pipeline de datos tiene tres etapas: ingesta, almacenamiento y transformación. Ajusta la frecuencia de recopilación a la frecuencia de actualización de tus datos. El almacenamiento en archivos con Parquet es simple y eficaz para la mayoría de los casos de uso. La transformación es donde calculas las métricas derivadas que crean ventaja. Empieza simple, con una moneda y una fuente, y después amplía de forma incremental. Monitorea tu pipeline, porque las fallas silenciosas corrompen tus datos.
Con esto termina el nivel Datos. Ya entiendes qué datos importan más allá del precio y el volumen, dónde conseguirlos y cómo construir la infraestructura para recopilarlos y procesarlos. A continuación pasamos a Validación, donde aprenderás a comprobar si tus ideas realmente funcionan.