Por qué los backtests suelen ser engañosos
Tu backtest mostró rendimientos anuales del 200%. La curva de patrimonio era hermosa y subía de forma constante, con apenas pequeñas caídas en el camino. Revisaste los números tres veces solo para asegurarte. La tasa de acierto era del 73%, el factor de beneficio de 2.8 y el drawdown máximo, un cómodo 12%.
Ya puedes pasar a operar en vivo. Depositas fondos en la cuenta, activas el interruptor y te quedas mirando.
Dos semanas después, llevas una pérdida del 18%. La estrategia que en teoría parecía imparable está sangrando dinero en la realidad. ¿Qué salió mal?
Te damos la bienvenida al cementerio de las estrategias que se veían bien en los backtests.
La brecha entre la fantasía y la realidad
Todo trader aprende esta lección tarde o temprano, casi siempre de la manera más cara. Los backtests funcionan en un mundo de fantasía donde todo sale según lo planeado. El trading en vivo ocurre en una realidad caótica.
En un backtest, tus órdenes se ejecutan al instante y exactamente al precio que indicaste. En la realidad, hay deslizamiento. El precio se mueve entre el momento en que decides operar y la ejecución efectiva de tu orden. Para cuentas pequeñas que operan monedas líquidas, esto puede ser insignificante. Para posiciones más grandes o mercados menos líquidos, es una muerte lenta, por mil cortes.
En un backtest, siempre puedes entrar y salir cuando se activa tu señal. En la realidad, a veces el exchange está caído. A veces se cae tu conexión a internet. A veces el precio salta más allá de tu stop loss y sales a un precio mucho peor de lo previsto.
En un backtest, tienes información perfecta sobre lo que pasó. En la realidad, tu fuente de datos puede llegar con retraso, tus indicadores pueden calcularse de otra forma con datos en tiempo real y es posible que no recibas las confirmaciones cuando las esperas.
Parecen problemas menores, pero se acumulan. Una estrategia que mostró una tasa de acierto del 73% en los backtests puede dar un 58% en vivo. Un factor de beneficio de 2.8 se convierte en 1.4. Esa hermosa curva de patrimonio empieza a verse mucho más fea.
Las mentiras habituales del backtest
La mayoría de los backtests mienten de formas predecibles. Entender estos patrones te ayuda a detectar los problemas antes de que te cuesten dinero.
El sobreajuste (overfitting) es el mayor culpable. Ajustas parámetros hasta que el backtest se ve genial con los datos históricos, pero esos parámetros solo funcionaron en ese periodo histórico concreto. No funcionarán de aquí en adelante porque ajustaste la estrategia al pasado en vez de descubrir una ventaja (edge) genuina. Lo veremos a fondo más adelante en el curso.
El sesgo de anticipación (look-ahead bias) significa que tu backtest usó por accidente información que no habría estado disponible en el momento de la operación. Quizá el cálculo de tu indicador se asomó sin querer a datos futuros. Quizá alineaste mal las temporalidades. Lo descubrimos hace poco con uno de nuestros propios indicadores, que usaba rendimientos futuros de Bitcoin en su cálculo de correlación. El backtest se veía increíble; era completamente falso.
El sesgo de supervivencia significa que hiciste las pruebas con monedas que existen hoy e ignoraste los cientos que se fueron a cero. Tu estrategia podría haber operado FTT, LUNA y UST, que parecían excelentes vehículos de trading hasta que dejaron de existir.
Los costos de transacción suelen subestimarse o ignorarse por completo. Cuando haces 50 operaciones al día, la diferencia entre comisiones del 0.04% y comisiones del 0.1% termina sumando dinero real.
Por qué necesitas validación y no solo pruebas
Un backtest no es validación. Un backtest te dice cómo se desempeñó una estrategia con datos que ya tienes. La validación te dice si es probable que la estrategia rinda en el futuro.
La distinción es crucial. Cualquiera puede crear una estrategia que se vea bien con datos históricos. Podrías lanzar dardos a un tablero para elegir las reglas de entrada y salida, y luego optimizar los parámetros hasta que el backtest se vea rentable. No es difícil. Y también es completamente inútil para predecir el desempeño futuro.
La validación real requiere técnicas diseñadas específicamente para detectar las mentiras. El análisis walk-forward, las pruebas fuera de muestra, las simulaciones de Monte Carlo y las pruebas de significancia estadística cumplen una función. Veremos cada una en detalle a medida que avancemos en este nivel.
El cambio de mentalidad
Esta es la verdad incómoda: si tu backtest se ve demasiado bien, probablemente está mal.
Las estrategias que muestran rendimientos anuales del 200% con tasas de acierto del 80% o más y drawdowns mínimos casi siempre están sobreajustadas. El mercado no regala dinero gratis de esa forma. Si tu backtest sugiere que sí lo hace, cometiste un error en algún punto.
Las expectativas realistas para una buena ventaja cuantitativa se parecen más a tasas de acierto del 60-70%, con factores de beneficio de alrededor de 1.5-2.0 y rendimientos anuales que dependen mucho del tamaño de posición y de la tolerancia al riesgo. Si ves números muchísimo mejores, desconfía. Desconfía mucho.
El objetivo de este nivel es enseñarte a distinguir las ventajas reales de los espejismos del backtesting. Al final, tendrás un marco de validación que detecta las mentiras antes de que te cuesten dinero.
Puntos clave
La mayoría de los backtests mienten porque funcionan en un mundo de fantasía que no coincide con la realidad del trading en vivo. Entre las mentiras habituales están el sobreajuste, el sesgo de anticipación, el sesgo de supervivencia y los costos subestimados. La validación es distinta de las pruebas porque la validación predice el desempeño futuro, mientras que las pruebas solo describen el pasado. Si tu backtest parece demasiado bueno para ser verdad, casi con certeza lo es.
A continuación, examinaremos una de las formas más insidiosas de engaño en los backtests: el sesgo de anticipación.