TARGETHIT!

Mais

Comunidade

Tema

Idioma

Escola de trading quantitativo/Validação/Tamanho da amostra: quantas operações bastam?
Validação10 min de leitura

Tamanho da amostra: quantas operações bastam?

Por que sua taxa de acerto em 10 operações não significa nada

Tamanho da amostra: quantas operações bastam?

Sua estratégia tem taxa de acerto de 90% em 10 operações. Impressionante? Nem tanto. Com apenas 10 operações, essa taxa de acerto não significa nada. Você poderia jogar uma moeda para o alto e tirar cara 9 em cada 10 vezes por puro acaso.

O tamanho da amostra é um dos conceitos mais mal compreendidos na validação de estratégias de trading. Muitos traders se empolgam com estratégias baseadas em um punhado de sinais, só para ver o desempenho regredir drasticamente à medida que mais operações se acumulam.

Por que amostras pequenas enganam

Na estatística, existe um conceito chamado lei dos grandes números. Quanto mais observações você tem, mais a média da sua amostra se aproxima da verdadeira média subjacente. Com poucas observações, a variação aleatória domina.

Imagine uma estratégia com taxa de acerto verdadeira de 55%. Se você fizer 10 operações, pode observar qualquer taxa de acerto entre 30% e 80% só por obra do acaso. O intervalo de confiança é enorme.

Faça 100 operações e a taxa de acerto observada vai se concentrar mais em torno de 55%, talvez variando de 45% a 65%. Faça 1,000 operações e você provavelmente vai observar algo entre 52% e 58%.

Resumindo: amostras pequenas podem mostrar resultados absurdamente enganosos. Uma taxa de acerto de 90% em 10 operações pode vir de uma estratégia com taxa de acerto verdadeira de 55%. Você não saberia disso até ter visto muito mais operações.

Noções básicas de significância estatística

A significância estatística responde à pergunta: esse resultado poderia ter acontecido por acaso?

Se sua estratégia mostra uma taxa de acerto de 60%, os testes estatísticos perguntam qual é a probabilidade de uma estratégia com taxa de acerto verdadeira de 50% (sem edge, ou seja, sem vantagem estatística) ter produzido esses resultados por sorte. Se essa probabilidade for baixa, digamos menos de 5%, dizemos que o resultado é estatisticamente significativo.

Quanto maior o tamanho da amostra, mais fácil é detectar efeitos reais. Uma taxa de acerto de 52% em 50 operações não é estatisticamente diferente de 50%, porque a variação aleatória poderia facilmente produzir esse resultado. Uma taxa de acerto de 52% em 5,000 operações é altamente significativa, porque a probabilidade de a variação aleatória produzir um desempenho consistente de 52% em tantas operações é minúscula.

É por isso que o tamanho da amostra importa tanto. Você precisa de operações suficientes para distinguir o sinal do ruído.

A regra prática das 1000+ operações

Como diretriz prática, não consideramos uma estratégia validada até que ela tenha pelo menos 1,000 operações no backtest.

Por que 1,000? Não é um número mágico, mas é mais ou menos a partir daí que o poder estatístico passa a ser relevante para o desempenho típico de uma estratégia de trading. Com 1,000 operações, uma taxa de acerto de 55% é estatisticamente distinguível de 50% com uma confiança razoável. Com 100 operações, não é.

Para estratégias com desempenho esperado mais alto, como taxas de acerto de 65%+, dá para obter sinais relevantes com menos operações, talvez 300-500. Para estratégias mais próximas de 50% de taxa de acerto, você precisa de mais, possivelmente vários milhares.

O que importa não é o número exato, e sim o princípio: você precisa de amostras suficientes para que a variação aleatória não seja uma explicação plausível para os seus resultados.

Intervalos de confiança

Os intervalos de confiança quantificam a sua incerteza em torno de um resultado medido.

Se sua estratégia mostra uma taxa de acerto de 60% em 500 operações, o intervalo de confiança de 95% pode ficar mais ou menos entre 56% e 64%. Isso significa que, se você rodasse a estratégia muitas vezes, esperaria que a taxa de acerto verdadeira caísse nessa faixa em 95% das vezes.

Tamanhos de amostra maiores produzem intervalos de confiança mais estreitos. A mesma taxa de acerto de 60% em 2,000 operações pode ter um intervalo de confiança de 95% de 58% a 62%. Você tem mais certeza sobre o valor verdadeiro.

Ao avaliar estratégias, pense sempre no intervalo de confiança, e não só na estimativa pontual. Uma estratégia que mostra taxa de acerto de 70% com intervalo de confiança de 55% a 85% é bem menos impressionante do que parece. O desempenho verdadeiro pode ser apenas marginalmente lucrativo.

Número de operações vs período de tempo

Um erro comum é confundir o número de operações com o período de tempo. "A estratégia funcionou por 3 anos" soa impressionante, mas, se ela fez só 40 operações nesses 3 anos, a amostra é minúscula.

O que importa é o número de operações, não o tempo de calendário. Uma estratégia que gera 50 operações por dia tem um tamanho de amostra relevante em um mês. Uma estratégia que opera uma vez por semana precisa de anos de dados para acumular amostras relevantes.

Isso cria uma tensão. Estratégias que operam com frequência geram poder estatístico rapidamente, mas enfrentam custos de transação mais altos e mais complexidade de execução. Estratégias que operam pouco são mais simples de executar, porém mais difíceis de validar.

Lidamos com isso dando preferência a estratégias com frequência moderada de operações. Nossos sinais costumam gerar centenas de operações por ano, o suficiente para acumular amostras relevantes sem o peso operacional do trading de altíssima frequência.

Quando o tamanho da amostra exigido parece impossível

Talvez você esteja pensando: se eu preciso de 1,000+ operações para validar uma estratégia e a minha estratégia só gera 100 operações por ano, vou precisar de 10 anos de dados. Isso parece pouco realista.

Algumas abordagens ajudam.

Use períodos históricos mais longos. O mercado cripto tem um histórico limitado, mas muitas vezes há mais do que você imagina. Os futuros de Bitcoin são negociados desde 2017. Muitas altcoins têm 3-4 anos de dados úteis. Crie estratégias que consigam usar todo esse histórico.

Teste em vários ativos. Se o conceito da sua estratégia funciona em várias moedas, combinar o histórico de negociações delas aumenta o tamanho efetivo da sua amostra. Uma estratégia que gera 100 operações por ano por moeda pode gerar 500+ operações por ano em 5 moedas.

Aceite alguma incerteza. Na prática, muitas vezes você vai precisar colocar estratégias em produção com tamanhos de amostra abaixo do ideal. O segredo é conhecer a sua incerteza e dimensionar as posições de acordo com ela. Uma estratégia com 300 operações merece posições menores do que uma com 3,000 operações, porque você tem menos certeza sobre o desempenho verdadeiro dela.

Principais lições

Amostras pequenas produzem resultados enganosos porque, com poucas observações, a variação aleatória domina. A significância estatística diz se os resultados poderiam, de forma plausível, ser obra do acaso. Tenha como meta um mínimo de 1,000+ operações para validar com robustez estratégias típicas. Os intervalos de confiança quantificam a sua incerteza, e amostras maiores produzem intervalos mais estreitos. O que importa é o número de operações, não o tempo de calendário. Se não conseguir chegar ao tamanho de amostra ideal, teste em vários ativos e dimensione as posições de acordo com a sua incerteza.

A seguir, vamos ver quais métricas realmente importam na hora de avaliar o desempenho de trading e quais são métricas de vaidade que enganam você.