TARGETHIT!

Mais

Comunidade

Tema

Idioma

Escola de trading quantitativo/Validação/Por que os backtests costumam enganar
Validação10 min de leitura

Por que os backtests costumam enganar

A distância entre a fantasia do backtest e a realidade do trading ao vivo

Por que os backtests costumam enganar

Seu backtest mostrou 200% de retorno anual. A curva de patrimônio era linda, subindo de forma constante, com apenas pequenas quedas pelo caminho. Você refez as contas três vezes só para ter certeza. A taxa de acerto era de 73%, o fator de lucro (profit factor) era de 2.8 e o drawdown máximo era de confortáveis 12%.

Você está pronto para operar ao vivo. Coloca dinheiro na conta, liga o sistema e fica observando.

Duas semanas depois, você está com 18% de prejuízo. A estratégia que parecia imbatível no papel está sangrando dinheiro na prática. O que deu errado?

Bem-vindo ao cemitério das estratégias que pareciam boas no backtest.

A distância entre fantasia e realidade

Todo trader acaba aprendendo esta lição, normalmente do jeito mais caro. Os backtests funcionam em um mundo de fantasia, onde tudo sai conforme o planejado. O trading ao vivo acontece na realidade, e a realidade é bagunçada.

No backtest, suas ordens têm execução instantânea, exatamente no preço que você definiu. Na realidade, existe slippage. O preço se move entre o momento em que você decide operar e a execução de fato da sua ordem. Para contas pequenas operando moedas líquidas, isso pode ser desprezível. Para posições maiores ou mercados menos líquidos, é morrer aos poucos, de mil pequenos cortes.

No backtest, você sempre consegue entrar e sair quando o seu sinal dispara. Na realidade, às vezes a corretora está fora do ar. Às vezes a sua internet cai. Às vezes o preço abre um gap além do seu stop loss e você sai muito pior do que o planejado.

No backtest, você tem informação perfeita sobre o que aconteceu. Na realidade, o seu feed de dados pode atrasar, os seus indicadores podem calcular de outro jeito com dados em tempo real e as confirmações podem não chegar quando você espera.

Parecem problemas pequenos, mas eles se acumulam. Uma estratégia que mostrou 73% de taxa de acerto nos backtests pode entregar 58% ao vivo. Um fator de lucro de 2.8 vira 1.4. Aquela curva de patrimônio linda começa a ficar bem mais feia.

As mentiras mais comuns dos backtests

A maioria dos backtests mente de formas previsíveis. Entender esses padrões ajuda você a identificar os problemas antes que eles custem o seu dinheiro.

Overfitting é o maior culpado. Você ajusta os parâmetros até o backtest ficar ótimo nos dados históricos, mas esses parâmetros só funcionaram naquele período histórico específico. Eles não vão funcionar daqui para a frente, porque você ajustou a estratégia ao passado em vez de descobrir um edge (vantagem estatística) genuíno. Vamos aprofundar isso mais adiante no curso.

Look-ahead bias (usar, sem perceber, dados do futuro) significa que o seu backtest usou, por acidente, informações que não estariam disponíveis no momento da operação. Talvez o cálculo do seu indicador tenha espiado dados do futuro sem querer. Talvez você tenha alinhado os tempos gráficos do jeito errado. Descobrimos isso recentemente em um dos nossos próprios indicadores, que usava retornos futuros do Bitcoin no cálculo de correlação. O backtest parecia incrível; era totalmente falso.

Viés de sobrevivência significa que você testou em moedas que existem hoje, ignorando as centenas que zeraram. A sua estratégia pode ter operado FTT, LUNA e UST, que pareciam ótimos ativos para operar até deixarem de existir.

Custos de transação costumam ser subestimados ou totalmente ignorados. Quando você faz 50 operações por dia, a diferença entre taxas de 0.04% e de 0.1% vira dinheiro real.

Por que você precisa de validação, não só de testes

Um backtest não é validação. Um backtest mostra como uma estratégia se saiu nos dados que você já tem. A validação mostra se a estratégia tende a ter bom desempenho no futuro.

A distinção é crucial. Qualquer um consegue criar uma estratégia que fica bonita nos dados históricos. Você poderia jogar dardos em um alvo para escolher as regras de entrada e saída e depois otimizar os parâmetros até o backtest parecer lucrativo. Não é difícil. E também não serve para nada na hora de prever o desempenho futuro.

Uma validação real exige técnicas criadas especificamente para detectar essas mentiras. Análise walk-forward, testes fora da amostra, simulações de Monte Carlo e testes de significância estatística: todos cumprem uma função. Vamos ver cada um deles em detalhe à medida que avançarmos neste nível.

A mudança de mentalidade

A verdade incômoda é esta: se o seu backtest parece bom demais, provavelmente está errado.

Estratégias que mostram 200% de retorno anual, com taxas de acerto de 80%+ e drawdowns mínimos, quase sempre sofrem de overfitting. O mercado não distribui dinheiro grátis desse jeito. Se o seu backtest sugere que distribui, você errou em algum lugar.

Expectativas realistas para um bom edge quantitativo se parecem mais com taxas de acerto de 60-70%, fatores de lucro em torno de 1.5-2.0 e retornos anuais que dependem muito do position sizing (definir o tamanho da posição) e da tolerância a risco. Se você está vendo números muito melhores, desconfie. Desconfie muito.

O objetivo deste nível é ensinar você a distinguir edges reais de miragens de backtesting. Ao final, você vai ter um método de validação que pega as mentiras antes que elas custem o seu dinheiro.

Principais lições

A maioria dos backtests mente porque funciona em um mundo de fantasia que não corresponde à realidade do trading ao vivo. Entre as mentiras mais comuns estão o overfitting, o look-ahead bias, o viés de sobrevivência e os custos subestimados. Validar é diferente de testar, porque a validação prevê o desempenho futuro, enquanto o teste só descreve o passado. Se o seu backtest parece bom demais para ser verdade, quase certamente é.

A seguir, vamos examinar uma das formas mais traiçoeiras de engano em backtests: o look-ahead bias.