La escala de nuestro descubrimiento
Este es un número que podría sorprenderte: de forma rutinaria probamos millones de combinaciones de indicadores.
Con más de 50 indicadores normalizados, varios niveles de umbral por indicador, dos direcciones (LONG/SHORT), varios periodos de tenencia y filtros de régimen, el espacio combinatorio es enorme.
No puedes probar esto a mano. Ni siquiera puedes revisar los resultados a ojo. Necesitas una infraestructura sistemática para generar, probar, filtrar y hacer seguimiento de candidatos a gran escala.
Esta lección revela cómo lo hacemos, incluido cómo evitamos la trampa de encontrar "ventajas" (edges) que son puro ruido estadístico.
La arquitectura de la búsqueda en cuadrícula
Nuestro sistema de descubrimiento busca en cuadrícula (grid search), con un filtrado inteligente:
Capa 1: selección de indicadores Empieza con unos 50 indicadores normalizados por z-score (puntuación z). No todas las combinaciones tienen sentido, así que definimos los emparejamientos permitidos según las categorías de indicadores.
Capa 2: cuadrícula de umbrales Para cada indicador, prueba varios niveles de umbral:
- Umbral fuerte: z > 2.0 o z < -2.0
- Umbral medio: z > 1.5 o z < -1.5
- Umbral suave: z > 1.0 o z < -1.0
Capa 3: dirección Cada combinación se prueba tanto para señales LONG como SHORT.
Capa 4: periodo de tenencia Varios horizontes objetivo: 1 h, 2 h, 4 h, 8 h y 24 h.
Capa 5: filtro de régimen Aplica filtros de régimen: solo alcista, solo bajista, solo volatilidad alta, sin filtro.
Las cuentas: 50 indicadores × 50 indicadores secundarios × 3 umbrales × 3 umbrales × 2 direcciones × 5 horizontes × 4 filtros de régimen = 45 millones de combinaciones.
No probamos los 45 millones (el filtrado inteligente reduce mucho esa cifra), pero aun así probamos millones.
Consideraciones computacionales
Probar millones de combinaciones requiere eficiencia:
Backtesting vectorizado Nada de bucles for sobre las velas. Todo opera sobre arrays de numpy y dataframes de pandas. El backtest de una sola ventaja debería tardar milisegundos, no segundos.
Procesamiento en paralelo Varios núcleos de CPU prueban distintos subconjuntos de combinaciones al mismo tiempo. Usamos multiprocessing de Python para paralelizar entre núcleos.
Datos precalculados Todos los z-scores, las etiquetas de régimen y los rendimientos objetivo quedan calculados una sola vez, por adelantado. El descubrimiento consulta arrays precalculados en vez de recalcular en cada prueba.
Almacenamiento de resultados Los resultados van a una base de datos, no a archivos. PostgreSQL con los índices adecuados permite consultas rápidas: "Muéstrame todas las ventajas LONG con una tasa de acierto >70% y >500 muestras en régimen alcista".
Descubrimiento incremental Registra lo que ya se probó. Cuando llegan datos nuevos, prueba las combinaciones solo sobre los datos nuevos y luego fusiona los resultados con los existentes.
Con una buena infraestructura, probar 1 millón de combinaciones lleva horas, no días.
El problema de las comparaciones múltiples
Este es el peligro: cuando pruebas millones de combinaciones, VAS a encontrar algunas con resultados de backtest asombrosos por pura casualidad.
Este es el problema de las comparaciones múltiples. Si lanzas una moneda 1,000 veces y buscas cualquier tramo de 20 lanzamientos, encontrarás rachas que parecen de una moneda cargada. No lo son: son ruido aleatorio.
Lo mismo pasa al descubrir ventajas. Prueba un millón de combinaciones y el 1% mostrará tasas de acierto del 65% o más por azar. Eso equivale a 10,000 ventajas falsas.
¿Cómo lo manejamos?
Salvaguardas estadísticas
1. Requisitos de tamaño de muestra
Más muestras = menos probabilidad de que sea ruido. Exigimos tamaños de muestra mínimos:
- Al menos 500 eventos para una primera consideración
- Al menos 1,000 eventos para una confianza alta
Una tasa de acierto del 75% en 50 operaciones es sospechosa. Una tasa de acierto del 65% en 2,000 operaciones es significativa.
2. Validación walk-forward
Divide los datos en el tiempo:
- Periodo de descubrimiento: el primer 70% de los datos
- Periodo de validación: el último 30% de los datos
La ventaja tiene que funcionar en AMBOS periodos. Las ventajas sobreajustadas fallan fuera de muestra.
Lo hacemos varias veces con distintos puntos de corte. Si una ventaja solo funciona con una configuración de corte, probablemente es ruido.
3. Corrección tipo Bonferroni
El enfoque estadístico clásico: si pruebas N combinaciones, reduce tu umbral de significancia en un factor N.
En la práctica, no aplicamos un Bonferroni estricto (es demasiado conservador), pero sí elevamos la exigencia sobre lo que cuenta como "interesante". Probar un millón de combinaciones significa que una sola ventaja con una tasa de acierto del 65% no impresiona: necesitamos un 70% o más.
4. Pruebas de estabilidad de parámetros
Si una ventaja funciona con un umbral de 2.0, pero falla con 1.9 y 2.1, probablemente está sobreajustada a 2.0 exactamente.
Probamos el entorno de cada parámetro. Las ventajas robustas muestran un buen rendimiento en todo un rango de parámetros cercanos.
5. Filtro de fundamento económico
¿La ventaja tiene sentido? ¿Puedes explicar POR QUÉ debería funcionar?
"Un financiamiento negativo extremo combinado con un OI en alza en mercados alcistas lleva a rebotes" tiene una historia detrás: los Shorts sobreapalancados sufren un squeeze.
"El RSI de 17 periodos cruzando por debajo de 23.4 en BTC" no tiene ninguna historia detrás. Probablemente es ruido.
Rechazamos las ventajas que superan las pruebas estadísticas, pero carecen de una explicación racional.
Separar el descubrimiento de la validación
Principio crítico: los datos que encuentran las ventajas no pueden ser los mismos que las validan.
Nuestro flujo de trabajo:
- Fase de descubrimiento: busca en cuadrícula sobre el conjunto de datos de descubrimiento
- Fase de filtrado: aplica filtros estadísticos a los sobrevivientes
- Fase de validación: prueba a los sobrevivientes filtrados con los datos de validación reservados
- Fase de robustez: prueba la estabilidad entre parámetros y periodos de tiempo
- Fase demo: haz un forward test con datos en vivo y sin dinero real
Solo después de todas las fases una ventaja recibe capital real.
Los datos de validación son sagrados. No tocan el descubrimiento en absoluto. Así se evita una filtración sutil de datos, en la que el rendimiento de la validación se infla con información que se filtró desde el descubrimiento.
Seguimiento y gestión de resultados
Con millones de combinaciones probadas, la organización importa:
Esquema de la base de datos de resultados
- ID de la ventaja (identificador único)
- Indicador principal + umbral
- Indicador secundario + umbral
- Dirección (LONG/SHORT)
- Filtro de régimen
- Periodo de tenencia
- Fecha de descubrimiento
- Tamaño de muestra
- Tasa de acierto
- Factor de beneficio
- Ratio de Sharpe
- Estado de validación
- Notas
Patrones de consulta
- "Todas las ventajas con una tasa de acierto >65% y >1000 muestras en régimen bajista"
- "Las mejores ventajas LONG que usan el financiamiento como indicador principal"
- "Ventajas que superaron la validación walk-forward"
Control de versiones Cuando agregamos indicadores nuevos o cambiamos la normalización, registramos qué ventajas se descubrieron con qué versión de los datos. Las ventajas antiguas podrían necesitar una nueva validación.
Detección de duplicados Las ventajas similares suelen aparecer varias veces con variaciones menores. Detectamos y fusionamos los casi duplicados para no contar la misma ventaja varias veces.
El proceso de descubrimiento en la práctica
Un ejemplo real de nuestro proceso:
Semana 1: actualización de datos Llegan datos nuevos de HyBlock. Actualizamos los archivos parquet, recalculamos los z-scores y regeneramos las etiquetas de régimen.
Semana 2: búsqueda en cuadrícula Lanzamos el descubrimiento en SOL con los datos más recientes. Probamos 2 millones de combinaciones entre todos los pares de indicadores. Tarda unas 6 horas en 32 núcleos.
Semana 3: filtrado inicial Consultamos los resultados: 15,000 combinaciones muestran una tasa de acierto >60%. Aplicamos el filtro de tamaño de muestra (>500): quedan 3,200. Aplicamos walk-forward: quedan 890.
Semana 4: pruebas de robustez Probamos la estabilidad de parámetros en los 890 sobrevivientes. Pasan 340. Revisamos el fundamento económico: 240 tienen sentido.
Semana 5: validación final Pasamos los 240 candidatos por el periodo de validación reservado. 67 rinden de forma aceptable.
Semana 6: decisiones de ascenso Revisamos las 67 ventajas validadas. Elegimos las 10-15 mejores para trading demo según su baja correlación, su diversidad de regímenes y su frecuencia de señales.
De millones de combinaciones a unas decenas de ventajas operables. Ese es el embudo.
Modos de falla comunes
Exceso de filtrado: requisitos tan estrictos que nada pasa. Resultado: ninguna ventaja asciende; costo de oportunidad.
Filtrado insuficiente: requisitos demasiado laxos; el ruido se cuela. Resultado: ventajas falsas que revientan en producción.
Sesgo de confirmación: favorecer las ventajas que coinciden con tus ideas previas. Resultado: se te escapan ventajas que funcionan por razones que no esperabas.
Sesgo de lo reciente: dar demasiado peso al rendimiento reciente en la validación. Resultado: se confunden ventajas específicas de un régimen con ventajas universales.
Complejidad creciente: agregar más factores para mejorar los números del backtest. Resultado: ventajas sobreajustadas que fallan con datos nuevos.
El equilibrio es clave. Actúa con rigor, pero sin paralizarte. Filtra el ruido, pero acepta que cierta incertidumbre es inevitable.
Puntos clave
- El descubrimiento sistemático exige probar millones de combinaciones: las pruebas manuales no sirven
- Busca en cuadrícula a través de indicadores, umbrales, direcciones, horizontes y regímenes
- El problema de las comparaciones múltiples es real: la mayoría de los backtests "buenos" son ruido
- Salvaguardas: tamaños de muestra grandes, validación walk-forward, estabilidad de parámetros y fundamento económico
- Separación estricta entre los datos de descubrimiento y los de validación
- Seguimiento de resultados en una base de datos, para consultarlos y organizarlos
- El embudo es implacable: millones de candidatos → decenas de ventajas operables
La escala crea oportunidades: cuanto más pruebas, más ventajas reales encuentras. Pero la escala también crea peligro: cuanto más pruebas, más ruido parece señal. Una higiene estadística rigurosa es lo que separa un descubrimiento productivo de una minería de datos al azar.