TARGETHIT!

Más

Comunidad

Tema

Idioma

Escuela de trading cuantitativo/Validación/Tamaño de muestra: ¿cuántas operaciones son suficientes?
Validación10 min de lectura

Tamaño de muestra: ¿cuántas operaciones son suficientes?

Por qué tu tasa de acierto en 10 operaciones no significa nada

Tamaño de muestra: ¿cuántas operaciones son suficientes?

Tu estrategia tiene una tasa de acierto del 90% en 10 operaciones. ¿Impresionante? En realidad, no. Con solo 10 operaciones, esa tasa de acierto no significa nada. Podrías lanzar una moneda y sacar cara 9 de cada 10 veces por pura casualidad.

El tamaño de muestra es uno de los conceptos peor entendidos en la validación del trading. Demasiados traders se entusiasman con estrategias basadas en un puñado de señales, solo para ver cómo el desempeño retrocede de forma drástica a medida que se acumulan más operaciones.

Por qué engañan las muestras pequeñas

La estadística tiene un concepto llamado ley de los grandes números. Cuantas más observaciones tienes, más se acerca el promedio de tu muestra al verdadero promedio subyacente. Con pocas observaciones, domina la variación aleatoria.

Imagina una estrategia con una tasa de acierto verdadera del 55%. Si haces 10 operaciones, podrías observar una tasa de acierto de entre el 30% y el 80% solo por azar. El intervalo de confianza es enorme.

Haz 100 operaciones y la tasa de acierto observada se concentrará más en torno al 55%, quizá entre el 45% y el 65%. Haz 1,000 operaciones y probablemente observarás entre el 52% y el 58%.

La idea: las muestras pequeñas pueden mostrar resultados tremendamente engañosos. Una tasa de acierto del 90% en 10 operaciones podría venir de una estrategia con una tasa de acierto verdadera del 55%. No lo sabrías hasta haber visto muchas más operaciones.

Fundamentos de la significancia estadística

La significancia estadística responde a la pregunta: ¿este resultado podría haber ocurrido por azar?

Si tu estrategia muestra una tasa de acierto del 60%, las pruebas estadísticas preguntan qué tan probable es que una estrategia con una tasa de acierto verdadera del 50% (sin ventaja) hubiera producido esos resultados por suerte. Si esa probabilidad es baja, por ejemplo menos del 5%, decimos que el resultado es estadísticamente significativo.

Cuanto mayor es tu tamaño de muestra, más fácil es detectar efectos reales. Una tasa de acierto del 52% en 50 operaciones no es estadísticamente distinta del 50%, porque la variación aleatoria podría producir ese resultado con facilidad. Una tasa de acierto del 52% en 5,000 operaciones es altamente significativa, porque la probabilidad de que la variación aleatoria produzca un desempeño constante del 52% en tantas operaciones es minúscula.

Por eso el tamaño de muestra importa tanto. Necesitas suficientes operaciones para distinguir la señal del ruido.

La regla práctica de las 1000+ operaciones

Como pauta práctica, no consideramos validada una estrategia hasta que tiene al menos 1,000 operaciones en el backtest.

¿Por qué 1,000? No es un número mágico, pero es más o menos donde la potencia estadística se vuelve significativa para el desempeño típico de una estrategia de trading. Con 1,000 operaciones, una tasa de acierto del 55% se puede distinguir estadísticamente del 50% con una confianza razonable. Con 100 operaciones, no.

Para estrategias con un desempeño esperado más alto, como tasas de acierto del 65% o más, puedes obtener señales significativas con menos operaciones, quizá 300-500. Para estrategias más cercanas a una tasa de acierto del 50%, necesitas más, posiblemente varios miles.

Lo importante no es el número concreto, sino el principio: necesitas suficientes muestras como para que la variación aleatoria no pueda explicar de forma plausible tus resultados.

Intervalos de confianza

Los intervalos de confianza cuantifican tu incertidumbre sobre un resultado medido.

Si tu estrategia muestra una tasa de acierto del 60% en 500 operaciones, el intervalo de confianza del 95% podría ir aproximadamente del 56% al 64%. Esto significa que, si ejecutaras la estrategia muchas veces, esperarías que la tasa de acierto verdadera cayera en este rango el 95% de las veces.

Los tamaños de muestra más grandes producen intervalos de confianza más estrechos. La misma tasa de acierto del 60% en 2,000 operaciones podría tener un intervalo de confianza del 95% de entre el 58% y el 62%. Tienes más certeza sobre el valor verdadero.

Al evaluar estrategias, piensa siempre en el intervalo de confianza, no solo en la estimación puntual. Una estrategia que muestra una tasa de acierto del 70% con un intervalo de confianza del 55% al 85% es mucho menos impresionante de lo que parece. Su desempeño verdadero podría ser apenas rentable.

Número de operaciones frente a periodo de tiempo

Un error común es confundir el número de operaciones con el periodo de tiempo. "La estrategia funcionó durante 3 años" suena impresionante, pero si solo hizo 40 operaciones en esos 3 años, la muestra es minúscula.

Lo que importa es el número de operaciones, no el tiempo de calendario. Una estrategia que produce 50 operaciones al día alcanza un tamaño de muestra significativo en un mes. Una estrategia que opera una vez por semana necesita años de datos para acumular muestras significativas.

Esto crea una tensión. Las estrategias que operan con frecuencia generan potencia estadística rápidamente, pero enfrentan costos de transacción más altos y una ejecución más compleja. Las estrategias que operan con poca frecuencia son más simples de ejecutar, pero más difíciles de validar.

Manejamos esta tensión dando preferencia a estrategias con una frecuencia de operaciones moderada. Nuestras señales suelen generar cientos de operaciones al año, suficientes para acumular muestras significativas sin la carga operativa del trading de ultra alta frecuencia.

Cuando los requisitos de tamaño de muestra parecen imposibles

Quizá estés pensando: si necesito 1,000 o más operaciones para validar una estrategia y mi estrategia solo produce 100 operaciones al año, necesito 10 años de datos. Eso no parece realista.

Algunos enfoques son de ayuda.

Usa periodos históricos más largos. El mundo cripto tiene un historial limitado, pero a menudo hay más del que crees. Los futuros de Bitcoin cotizan desde 2017. Muchas altcoins tienen 3-4 años de datos útiles. Diseña estrategias que puedan aprovechar todo ese historial.

Prueba con varios activos. Si el concepto de tu estrategia funciona en varias monedas, combinar su historial de operaciones aumenta tu tamaño de muestra efectivo. Una estrategia que produce 100 operaciones al año por moneda podría producir 500 o más operaciones al año entre 5 monedas.

Acepta cierta incertidumbre. En la práctica, a menudo tendrás que poner en marcha estrategias con tamaños de muestra menores que los ideales. La clave es conocer tu incertidumbre y dimensionar las posiciones en consecuencia. Una estrategia con 300 operaciones merece tamaños de posición más pequeños que una con 3,000 operaciones, porque tienes menos certeza sobre su desempeño verdadero.

Puntos clave

Las muestras pequeñas producen resultados engañosos porque, con pocas observaciones, domina la variación aleatoria. La significancia estadística te dice si los resultados podrían deberse de forma plausible al azar. Apunta a un mínimo de 1,000 operaciones para una validación robusta de las estrategias típicas. Los intervalos de confianza cuantifican tu incertidumbre, y las muestras más grandes producen intervalos más estrechos. Importa el número de operaciones, no el tiempo de calendario. Si no puedes alcanzar tamaños de muestra ideales, prueba con varios activos y dimensiona las posiciones según tu incertidumbre.

A continuación, examinaremos qué métricas importan de verdad al evaluar el desempeño de trading y cuáles son métricas de vanidad que te engañan.