La trampa del overfitting: cuando tu backtest te miente
Tu estrategia tiene 47 parámetros y una tasa de acierto del 95% en el backtest. Felicitaciones: construiste una máquina del tiempo que solo funciona hacia atrás.
Esto es el sobreajuste (overfitting): el asesino silencioso de las estrategias de trading. Es responsable de más cuentas quemadas que el apalancamiento, el FOMO y la mala gestión del riesgo juntos. ¿Y lo peor? Cuanto mejor se ve tu backtest, más probable es que hayas caído en la trampa.
En esta lección vamos a diseccionar exactamente qué es el sobreajuste, por qué tu cerebro está programado para crear estrategias sobreajustadas y cómo construir ventajas (edges) que de verdad sobrevivan al contacto con los mercados en vivo.
¿Qué es el sobreajuste?
El sobreajuste ocurre cuando tu estrategia aprende el ruido de los datos históricos en vez de la señal.
Piénsalo así: imagina que intentas predecir el clima de mañana. Podrías crear un modelo simple: "si hoy está nublado, hay un 70% de probabilidad de lluvia mañana". Esto capta una relación real.
O podrías crear un modelo complejo: "si el martes está nublado, la humedad está entre 67-73%, hubo luna llena la semana pasada y el presentador del noticiero local usó una corbata azul, entonces va a llover". Este modelo podría predecir a la perfección cada día de lluvia de tus datos históricos. Pero no sirve de nada para mañana.
El modelo complejo memorizó el pasado en vez de aprender de él.
En trading, esto se ve así:
- Una estrategia con 15 condiciones de indicadores distintas
- Reglas de entrada que exigen un RSI entre 31.5 y 33.2 (no 30-35, sino exactamente 31.5-33.2)
- Parámetros distintos para cada día de la semana
- Reglas que se agregaron porque "arreglaban" operaciones perdedoras en el backtest
Cada parámetro que agregas le da a tu estrategia otro grado de libertad para ajustarse a los datos históricos. Con suficientes parámetros, puedes crear una estrategia que prediga a la perfección cada movimiento del período de tu backtest. Pero va a fracasar de forma catastrófica en el trading en vivo.
La matemática de por qué ocurre el sobreajuste
Este es un experimento mental sencillo.
Lanza una moneda 100 veces. Por puro azar, van a aparecer algunas secuencias: quizá salió cara 7 veces seguidas a partir del lanzamiento 43. Quizá predominó la cruz en los lanzamientos con número par.
Si rastreas estos datos en busca de patrones, vas a encontrarlos. Podrías "descubrir" que los lanzamientos 40-50 tienen un 80% de caras. Podrías construir una "estrategia" en torno a este patrón.
Pero estos patrones no son reales. Son artefactos del azar en una muestra pequeña.
Ahora aplica esto al trading. Tienes 3 años de datos históricos: unas 1,000 velas diarias. Pruebas una estrategia con 20 parámetros. Cada parámetro interactúa con los demás. La cantidad de combinaciones posibles es astronómica.
Estadísticamente, alguna combinación va a mostrar grandes resultados por pura casualidad. Tu optimizador encuentra esa combinación y te la presenta como "la mejor estrategia". Pero no encontraste una ventaja real: encontraste un artefacto aleatorio que casualmente funcionó en este período histórico específico.
Por eso, cuantos más parámetros optimizas, menos confiable se vuelve tu backtest.
Señales de que tu estrategia está sobreajustada
¿Cómo sabes si caíste en la trampa del sobreajuste? Presta atención a estas señales de advertencia:
1. Demasiadas condiciones
Si tu entrada requiere que se alineen más de 3-4 condiciones, probablemente estás sobreajustando. Las ventajas reales son relativamente simples. Los mercados son ruidosos: las reglas complejas que funcionan en el backtest rara vez sobreviven al ruido del trading en vivo.
2. Parámetros sospechosamente específicos
Un RSI por debajo de 30 es un umbral razonable. Un RSI por debajo de 31.7 es sospechoso. Si tus parámetros parecen ajustados con precisión milimétrica (y lo fueron), caíste en el sobreajuste.
3. Backtest increíble, prueba prospectiva terrible
Esta es la señal clásica. Tu estrategia muestra una tasa de acierto del 80% en 3 años de datos de backtest. Empiezas a operar en demo y la tasa de acierto cae de inmediato al 45%. El backtest no predecía el rendimiento futuro: memorizaba el rendimiento pasado.
4. El rendimiento se desploma en los extremos
Si tu estrategia solo funciona con parámetros dentro de un rango muy estrecho, es frágil. Las estrategias robustas funcionan en un rango de parámetros similares. Si el RSI 30 funciona pero el RSI 29 y el RSI 31 fallan, algo anda mal.
5. Agregaste reglas para "arreglar" operaciones perdedoras
Cada vez que ves una operación perdedora en el backtest y agregas un filtro para evitarla, estás sobreajustando. Le estás enseñando a tu estrategia a evitar las pérdidas pasadas, no las futuras. Esas operaciones perdedoras específicas nunca se van a repetir exactamente igual.
El equilibrio entre sesgo y varianza
En el aprendizaje automático existe un concepto fundamental llamado equilibrio entre sesgo y varianza. Se aplica directamente a las estrategias de trading.
El sesgo es el error que viene de supuestos demasiado simplificados. Una estrategia con sesgo alto podría ser: "comprar siempre". Es simple, pero no capta los patrones reales del mercado.
La varianza es el error que viene de la sensibilidad a fluctuaciones pequeñas. Una estrategia con varianza alta tiene tantos parámetros que se ajusta al ruido, no a la señal.
El objetivo es encontrar el punto justo:
- Demasiado simple (sesgo alto): la estrategia no capta las ventajas reales
- Demasiado compleja (varianza alta): la estrategia se ajusta al ruido y falla con datos nuevos
- En su justa medida: la estrategia capta patrones reales e ignora el ruido
En la práctica, esto significa:
- Usa la cantidad mínima de parámetros necesaria
- Prefiere reglas simples y robustas antes que reglas complejas y precisas
- Comprueba que tu estrategia funcione en un rango de valores de parámetros
- Valida con datos que tu optimizador nunca vio
Cómo evitamos el sobreajuste en TargetHit
Déjame mostrarte las técnicas específicas que usamos para construir ventajas que sobrevivan al trading en vivo.
1. La división entrenamiento/prueba no basta
La mayoría de los traders sabe que hay que dividir los datos en un período de entrenamiento y otro de prueba. Entrenar con 2020-2022, probar con 2023. Si funciona en ambos, se pone en marcha.
Es mejor que nada, pero no basta. ¿Por qué? Porque miras los resultados de la prueba y después vuelves atrás a retocar. Aunque no optimices explícitamente sobre el conjunto de prueba, estás usando esa información de forma implícita.
La validación real requiere datos que nunca miras hasta la evaluación final. A esto lo llamamos el conjunto de reserva ("holdout"). Entrena, valida y luego prueba una sola vez con el conjunto de reserva y acepta los resultados, sin vuelta atrás.
2. Validación walk-forward
En vez de una sola división entrenamiento/prueba, usamos ventanas móviles:
- Entrenar con los meses 1-12, probar con el mes 13
- Entrenar con los meses 2-13, probar con el mes 14
- Entrenar con los meses 3-14, probar con el mes 15
- Y así sucesivamente…
Esto simula cómo habría rendido la estrategia si la hubieras estado operando en vivo, reoptimizándola periódicamente con datos nuevos. Es una prueba mucho más realista que una sola división.
3. Pruebas de estabilidad de parámetros
No probamos solo los parámetros óptimos. Probamos un rango a su alrededor.
Si nuestro mejor umbral de RSI es 30, también probamos 25, 27, 32 y 35. Si el rendimiento se desploma fuera de un rango estrecho, probablemente la ventaja no es real. Si se degrada de forma gradual, tenemos más confianza.
4. Múltiples regímenes de mercado
Una ventaja que solo funciona en mercados alcistas no es una ventaja: es una apuesta a los mercados alcistas. Probamos las estrategias en:
- Mercados alcistas
- Mercados bajistas
- Mercados laterales/en rango
- Regímenes de alta volatilidad
- Regímenes de baja volatilidad
Una ventaja robusta muestra una esperanza matemática positiva en los distintos regímenes, aunque la magnitud varíe.
5. Tamaños mínimos de muestra
Exigimos un mínimo de 100 operaciones antes de tomarnos en serio cualquier backtest. Para tener una confianza alta, queremos 500+. Con menos operaciones, predominan las casualidades estadísticas.
Una tasa de acierto del 75% en 20 operaciones no significa nada. Una tasa de acierto del 55% en 1,000 operaciones es valiosa.
El principio de simplicidad
Esta es una verdad contraintuitiva: las estrategias más simples casi siempre les ganan a las complejas en el trading en vivo.
¿Por qué? Porque la simplicidad es robusta. Una estrategia con 2 condiciones puede seguir funcionando cuando la microestructura del mercado cambia ligeramente. Una estrategia con 20 condiciones se va a romper en cuanto cualquiera de esos patrones específicos deje de ocurrir.
El mercado es un adversario. Evoluciona. Los demás traders se adaptan. Los patrones desaparecen por arbitraje. Cuanto más simple es tu ventaja, más le cuesta al mercado romperla.
Por eso en TargetHit limitamos la complejidad de forma deliberada:
- Un máximo de 3-4 indicadores por ventaja
- Los umbrales deben ser números redondos o desviaciones estándar (nada de 31.7)
- Las reglas deben tener intuición económica (podemos explicar POR QUÉ debería funcionar)
- Cada parámetro agregado debe justificarse con un rendimiento fuera de muestra significativamente mejor
Cómo se ven las ventajas reales
Después de filtrar el sobreajuste, ¿qué sobrevive?
Las ventajas reales suelen ser:
Simples: "Cuando las tasas de financiamiento son extremadamente negativas y el interés abierto está cayendo, es probable una reversión a la media". No: "Cuando el financiamiento está entre -0.023% y -0.019% los martes después de una vela roja…"
Intuitivas: puedes explicar el mecanismo. Un financiamiento negativo extremo significa que los Shorts les pagan a los Longs: el lado Short está saturado. Las operaciones saturadas tienden a deshacerse.
Robustas: funcionan en distintos períodos de tiempo, con parámetros ligeramente distintos y en múltiples activos. Si solo funciona en BTC durante 2021, no es una ventaja.
Modestas: las ventajas reales suelen tener tasas de acierto del 52-58%, no del 80%. Eso alcanza para ser rentable con un tamaño de posición adecuado. Si tu backtest muestra un 80%, probablemente sobreajustaste.
Tu plan de acción
Después de esta lección, esto es lo que deberías hacer:
-
Audita tus estrategias actuales. Cuenta los parámetros. Si tienes más de 5-6, es probable que estés sobreajustando. Considera simplificar.
-
Revisa la precisión de tus parámetros. ¿Tus umbrales son sospechosamente específicos? Redondéalos a niveles estándar y mira si la estrategia sigue funcionando.
-
Busca las reglas que agregaste de forma reactiva. ¿Agregaste un filtro porque viste una operación perdedora? Ese filtro probablemente es sobreajuste.
-
Prueba la estabilidad de los parámetros. Si tu RSI óptimo es 30, ¿qué pasa con 25 y con 35? Degradación gradual = bien. Desplome = mal.
-
Desconfía de los resultados increíbles. Cuanto mejor se ve tu backtest, más escéptico deberías ser. Las ventajas reales son modestas.
A continuación
Ya entiendes por qué fallan las estrategias (lección 1), qué separa las ventajas de las estrategias (lección 2) y cómo el sobreajuste crea la ilusión de una ventaja (lección 3).
En la lección 4 vamos a ver "Lo que de verdad necesitas para crear un motor de señales": la infraestructura, los costos y las habilidades realistas que se requieren para montar una actividad de trading sistemático. Aquí es donde la mayoría de los aspirantes a traders cuantitativos se da cuenta del verdadero alcance de lo que está emprendiendo.
La mayoría de los traders se saltan esta lección y se lanzan directo a programar. Terminan reconstruyendo sus sistemas 5 veces. No seas ese trader.
Nos vemos en la próxima lección.