Overfitting no backtest: quando a estratégia decora o passado
Se sua estratégia tem 47 parâmetros e taxa de acerto de 95%, parabéns. Você construiu uma máquina do tempo que só funciona para trás.
Overfitting é criar uma estratégia tão bem ajustada aos dados históricos que ela captura ruído em vez de sinal. A estratégia fica incrível nos backtests porque decorou o passado, não porque aprendeu padrões que vão se repetir no futuro.
O que é overfitting?
Toda série de dados de mercado tem dois componentes: sinal e ruído. O sinal é a parte que reflete dinâmicas genuínas do mercado e padrões que podem se repetir. O ruído é a variação aleatória que aconteceu uma vez e não vai acontecer de novo.
Uma boa estratégia de trading captura o sinal e ignora o ruído. Uma estratégia com overfitting captura os dois e trata peculiaridades aleatórias do histórico como se fossem padrões previsíveis.
Imagine que você está tentando prever se vai chover. Você percebe que, nas últimas dez terças-feiras, choveu sempre que você usou sua camisa azul. Um modelo com overfitting concluiria que usar camisa azul na terça-feira causa chuva. Um modelo robusto reconheceria isso como coincidência e se concentraria nos padrões do clima de verdade.
O equivalente no trading: seu backtest mostra que comprar quando o RSI cruza 23.7 no gráfico de 4 horas gera ótimos retornos. Por que 23.7? Porque esse número específico, por acaso, coincidiu com movimentos aleatórios do mercado nos seus dados históricos. Ele não tem nenhum valor preditivo daqui para a frente.
O problema do número de parâmetros
A forma mais óbvia de overfitting vem do excesso de parâmetros. Cada parâmetro dá à sua estratégia mais um grau de liberdade para se ajustar aos dados históricos. Adicione parâmetros suficientes e você consegue ajustar qualquer conjunto de dados com perfeição.
Considere estas duas estratégias:
Estratégia A: comprar quando o preço está acima da média móvel de 50 períodos. Um parâmetro (o número de períodos).
Estratégia B: comprar quando o preço está acima da MA de 50 períodos, o RSI está entre 35 e 45, o histograma do MACD está positivo mas abaixo de 0.3, o volume está acima da média de volume de 20 períodos, a hora está entre 2 e 6 UTC e não é segunda-feira. Dezenas de parâmetros.
A estratégia B tem mais espaço para se ajustar aos dados. Com condições suficientes, você consegue criar uma estratégia que só dispara exatamente nas operações que funcionaram no histórico. Mas essas condições não descrevem um edge (vantagem estatística) real de mercado; elas descrevem o caminho específico que o preço, por acaso, seguiu.
Como regra geral aproximada: estratégias robustas têm de 2 a 4 parâmetros centrais. Estratégias com mais de 10 parâmetros quase certamente têm overfitting. Estratégias com 20+ parâmetros têm overfitting com toda a certeza.
Dentro da amostra vs fora da amostra
O teste clássico de overfitting é comparar o desempenho dentro da amostra com o desempenho fora da amostra.
Os dados dentro da amostra são os que você usou para desenvolver e otimizar a estratégia. Os dados fora da amostra são dados que a estratégia nunca viu, reservados especificamente para a validação.
Uma estratégia com overfitting tem um desempenho muito melhor dentro da amostra do que fora dela. Ela "aprendeu" os dados dentro da amostra, mas não consegue generalizar para dados novos. Uma estratégia robusta mostra um desempenho parecido nos dois períodos porque capturou padrões genuínos, e não ruído histórico.
O problema: se você olha os resultados fora da amostra e depois ajusta a estratégia com base no que viu, seus dados fora da amostra viraram dados dentro da amostra. Você precisa de dados totalmente novos para validar. É por isso que existe a validação walk-forward, que vamos ver na próxima aula.
Sinais visuais de overfitting
Muitas vezes dá para identificar o overfitting a olho, examinando a curva de patrimônio.
Estratégias com overfitting costumam mostrar curvas de patrimônio suspeitamente suaves nos backtests, com pouquíssimas operações perdedoras. Estratégias de trading reais têm períodos bagunçados. Elas passam por drawdowns. Elas emendam uma operação perdedora atrás da outra. Se o seu backtest só mostra ganhos constantes, desconfie.
Estratégias com overfitting também mostram melhorias drásticas durante a otimização. Se mudar um parâmetro de 19 para 20 causa uma diferença enorme no desempenho, isso é um sinal de aviso. Estratégias robustas mostram uma sensibilidade gradual aos parâmetros: valores próximos de parâmetro geram resultados parecidos.
O dilema entre viés e variância
Para entender o overfitting, é preciso entender o dilema viés-variância (bias-variance tradeoff) da estatística.
Viés é o quanto a previsão média do seu modelo se afasta do valor verdadeiro. Um modelo enviesado erra de forma sistemática.
Variância é o quanto as previsões do seu modelo mudam dependendo dos dados específicos com que ele foi treinado. Um modelo de alta variância gera resultados muito diferentes em conjuntos de dados diferentes.
Overfitting é variância alta. O modelo se ajusta tanto às peculiaridades específicas dos seus dados históricos que geraria resultados completamente diferentes em outro período histórico.
O objetivo é encontrar o ponto ideal: complexidade suficiente para capturar padrões reais (viés baixo), mas não tanta que você passe a se ajustar ao ruído (variância baixa). Estratégias simples, com poucos parâmetros, tendem a ter viés maior, mas variância menor. Elas podem deixar escapar alguns padrões reais, mas têm mais chance de funcionar no futuro.
Medidas práticas contra o overfitting
Na prática, várias técnicas ajudam a evitar o overfitting.
Use menos parâmetros. Na dúvida, simplifique. Uma estratégia com 3 parâmetros e taxa de acerto de 55% vale mais do que uma com 30 parâmetros que chega a 75% de taxa de acerto no backtest.
Regularize sua otimização. Não se limite a encontrar os parâmetros que maximizam o lucro no backtest. Leve em conta a estabilidade. Se os parâmetros 18 e 20 geram ótimos resultados, mas o 19 gera resultados ruins, tem algo errado.
Exija significância estatística. Não confie em uma estratégia baseada em 50 operações. Exija centenas ou milhares de amostras antes de concluir que existe um edge. O puro acaso pode gerar resultados impressionantes no curto prazo.
Teste em vários períodos de tempo. Uma estratégia que funciona em 2020, 2021, 2022, 2023 e 2024 é mais confiável do que uma que só funciona em 2023.
Teste em várias condições de mercado. Sua estratégia funciona em mercados de alta, mercados de baixa e mercados laterais? Ou só em um regime? Estratégias específicas de um regime não são necessariamente ruins, mas você precisa conhecer as limitações delas.
Principais lições
O overfitting captura ruído em vez de sinal ao ajustar as estratégias com precisão demais aos dados históricos. Mais parâmetros significam mais risco de overfitting, porque cada parâmetro dá mais um grau de liberdade para se ajustar a peculiaridades aleatórias. Compare o desempenho dentro e fora da amostra para detectar overfitting. Curvas de patrimônio suspeitamente suaves e sensibilidade extrema aos parâmetros são sinais visuais de aviso. Prefira estratégias mais simples, com menos parâmetros, e exija amostras de tamanho grande para validar.
Na próxima aula, vamos examinar a validação walk-forward, a técnica que separa os backtests amadores dos testes de nível institucional.