TARGETHIT!

Mais

Comunidade

Tema

Idioma

Escola de trading quantitativo/Fundamentos/A armadilha do overfitting: quando seu backtest mente para você
Fundamentos10 min de leitura

A armadilha do overfitting: quando seu backtest mente para você

Por que estratégias complexas fracassam e as simples sobrevivem

A armadilha do overfitting: quando seu backtest mente para você

Sua estratégia tem 47 parâmetros e uma taxa de acerto de 95% no backtest. Parabéns—você construiu uma máquina do tempo que só funciona para trás.

Isso é overfitting: o assassino silencioso das estratégias de trading. Ele é responsável por mais contas quebradas do que a alavancagem, o FOMO e o mau gerenciamento de risco somados. E o pior? Quanto melhor parece o seu backtest, maior a chance de você ter caído na armadilha.

Nesta aula, vamos dissecar exatamente o que é overfitting, por que o seu cérebro é programado para criar estratégias com overfitting e como construir edges (vantagens estatísticas) que de fato sobrevivam ao contato com o mercado ao vivo.


O que é overfitting?

O overfitting acontece quando a sua estratégia aprende o ruído dos dados históricos em vez do sinal.

Pense assim: imagine que você está tentando prever o tempo para amanhã. Você poderia criar um modelo simples—"se hoje está nublado, há 70% de chance de chuva amanhã". Isso captura uma relação real.

Ou você poderia criar um modelo complexo: "se estiver nublado na terça-feira, a umidade estiver entre 67 e 73%, tiver feito lua cheia na semana passada e o apresentador do jornal local tiver usado gravata azul, então vai chover". Esse modelo pode até prever com perfeição todos os dias de chuva dos seus dados históricos. Mas, para amanhã, ele não serve para nada.

O modelo complexo decorou o passado em vez de aprender com ele.

No trading, isso aparece assim:

  • Uma estratégia com 15 condições diferentes de indicadores
  • Regras de entrada que exigem RSI entre 31.5 e 33.2 (não 30-35, mas exatamente 31.5-33.2)
  • Parâmetros diferentes para cada dia da semana
  • Regras adicionadas porque "consertaram" operações perdedoras no backtest

Cada parâmetro que você adiciona dá à sua estratégia mais um grau de liberdade para se ajustar aos dados históricos. Com parâmetros suficientes, você consegue criar uma estratégia que prevê com perfeição cada movimento do período do seu backtest. Mas ela vai fracassar de forma catastrófica no trading ao vivo.


A matemática por trás do overfitting

Aqui vai um experimento mental simples.

Jogue uma moeda 100 vezes. Por puro acaso, algumas sequências vão aparecer: talvez tenha dado cara 7 vezes seguidas a partir do lançamento 43. Talvez a coroa tenha dominado nos lançamentos de número par.

Se você garimpar esses dados atrás de padrões, vai encontrá-los. Você poderia "descobrir" que os lançamentos 40-50 dão cara 80% das vezes. Você poderia montar uma "estratégia" em torno desse padrão.

Mas esses padrões não são reais. São artefatos do acaso em uma amostra pequena.

Agora aplique isso ao trading. Você tem 3 anos de dados históricos—cerca de 1,000 candles diários. Você testa uma estratégia com 20 parâmetros. Cada parâmetro interage com os outros. O número de combinações possíveis é astronômico.

Estatisticamente, alguma combinação vai mostrar ótimos resultados por puro acaso. Seu otimizador encontra essa combinação e a apresenta a você como "a melhor estratégia". Mas você não encontrou um edge real—encontrou um artefato aleatório que funcionou justamente nesse período histórico específico.

É por isso que quanto mais parâmetros você otimiza, menos confiável fica o seu backtest.


Sinais de que sua estratégia tem overfitting

Como saber se você caiu na armadilha do overfitting? Fique atento a estes sinais de aviso:

1. Condições demais

Se a sua entrada exige que mais de 3-4 condições se alinhem, você provavelmente está fazendo overfitting. Edges reais são relativamente simples. Os mercados são ruidosos—regras complexas que funcionam no backtest raramente sobrevivem ao ruído do trading ao vivo.

2. Parâmetros suspeitamente específicos

RSI abaixo de 30 é um limiar razoável. RSI abaixo de 31.7 é suspeito. Se os seus parâmetros parecem ter sido ajustados com precisão cirúrgica (e foram), você fez overfitting.

3. Backtest incrível, forward test (teste em tempo real) péssimo

Esse é o sinal clássico. Sua estratégia mostra uma taxa de acerto de 80% em 3 anos de dados de backtest. Você começa a operar em conta demo e a taxa de acerto cai na hora para 45%. O backtest não estava prevendo a rentabilidade futura—estava decorando a rentabilidade passada.

4. O desempenho despenca nas bordas

Se a sua estratégia só funciona com parâmetros numa faixa muito estreita, ela é frágil. Estratégias robustas funcionam em toda uma faixa de parâmetros parecidos. Se o RSI 30 funciona, mas o RSI 29 e o RSI 31 falham, tem algo errado.

5. Você adicionou regras para "consertar" operações perdedoras

Toda vez que você vê uma operação perdedora no backtest e adiciona um filtro para evitá-la, está fazendo overfitting. Você está ensinando a sua estratégia a evitar os prejuízos passados, não os futuros. Aquelas operações perdedoras específicas nunca mais vão acontecer exatamente do mesmo jeito.


O dilema entre viés e variância

Em machine learning, existe um conceito fundamental chamado dilema viés-variância (bias-variance tradeoff). Ele se aplica diretamente às estratégias de trading.

Viés é o erro que vem de suposições simplificadas demais. Uma estratégia com viés alto poderia ser: "sempre comprar". Ela é simples, mas deixa passar padrões reais do mercado.

Variância é o erro que vem da sensibilidade a pequenas flutuações. Uma estratégia com variância alta tem tantos parâmetros que se ajusta ao ruído, não ao sinal.

O objetivo é encontrar o ponto ideal:

  • Simples demais (viés alto): a estratégia deixa passar edges reais
  • Complexa demais (variância alta): a estratégia se ajusta ao ruído e falha em dados novos
  • No ponto certo: a estratégia captura padrões reais e ignora o ruído

Na prática, isso significa:

  • Use o número mínimo de parâmetros necessário
  • Prefira regras simples e robustas a regras complexas e precisas
  • Teste se a sua estratégia funciona em toda uma faixa de valores dos parâmetros
  • Valide em dados que o seu otimizador nunca viu

Como evitamos o overfitting na TargetHit

Vou mostrar as técnicas específicas que usamos para construir edges que sobrevivem ao trading ao vivo.

1. Dividir em treino e teste não basta

A maioria dos traders sabe que precisa dividir os dados em um período de treino e outro de teste. Treine em 2020-2022, teste em 2023. Se funcionar nos dois, coloque em produção.

Isso é melhor do que nada, mas não basta. Por quê? Porque você olha os resultados do teste e depois volta para ajustar. Mesmo que você não otimize explicitamente no conjunto de teste, está usando essa informação implicitamente.

Uma validação real exige dados que você nunca olha até a avaliação final. Chamamos isso de conjunto "holdout" (dados reservados). Treine, valide, depois teste uma única vez no holdout e aceite os resultados—sem voltar atrás.

2. Validação walk-forward

Em vez de uma única divisão entre treino e teste, usamos janelas móveis:

  • Treinar nos meses 1-12, testar no mês 13
  • Treinar nos meses 2-13, testar no mês 14
  • Treinar nos meses 3-14, testar no mês 15
  • E assim por diante...

Isso simula como a estratégia teria se saído se você estivesse operando com ela ao vivo, reotimizando periodicamente com dados novos. É um teste muito mais realista do que uma divisão única.

3. Teste de estabilidade dos parâmetros

Não testamos só os parâmetros ótimos. Testamos uma faixa ao redor deles.

Se o nosso melhor limiar de RSI é 30, também testamos 25, 27, 32 e 35. Se o desempenho despenca fora de uma faixa estreita, o edge provavelmente não é real. Se ele piora de forma gradual, temos mais confiança.

4. Vários regimes de mercado

Um edge que só funciona em mercado de alta não é um edge—é uma aposta no mercado de alta. Testamos as estratégias em:

  • Mercados de alta
  • Mercados de baixa
  • Mercados laterais (sem tendência)
  • Regimes de alta volatilidade
  • Regimes de baixa volatilidade

Um edge robusto mostra expectativa matemática positiva em todos os regimes, mesmo que a magnitude varie.

5. Tamanho mínimo da amostra

Exigimos no mínimo 100 operações antes de levar qualquer backtest a sério. Para ter alta confiança, queremos 500+. Com menos operações, o acaso estatístico domina.

Uma taxa de acerto de 75% em 20 operações não significa nada. Uma taxa de acerto de 55% em 1,000 operações tem valor.


O princípio da simplicidade

Aqui vai uma verdade contraintuitiva: estratégias mais simples quase sempre superam as complexas no trading ao vivo.

Por quê? Porque a simplicidade é robusta. Uma estratégia com 2 condições ainda pode funcionar quando a microestrutura do mercado muda um pouco. Uma estratégia com 20 condições vai quebrar assim que qualquer um daqueles padrões específicos deixar de acontecer.

O mercado é um adversário. Ele evolui. Os outros traders se adaptam. Os padrões somem com a arbitragem. Quanto mais simples o seu edge, mais difícil é para o mercado quebrá-lo.

É por isso que, na TargetHit, limitamos a complexidade de propósito:

  • No máximo 3-4 indicadores por edge
  • Os limiares precisam ser números redondos ou desvios-padrão (nada de 31.7)
  • As regras precisam ter intuição econômica (conseguimos explicar POR QUE deveriam funcionar)
  • Cada parâmetro adicionado precisa se justificar com um desempenho fora da amostra significativamente melhor

Como são os edges reais

Depois de filtrar o overfitting, o que sobrevive?

Edges reais costumam ser:

Simples: "Quando a taxa de financiamento (funding rate) está extremamente negativa e os contratos em aberto (open interest) estão caindo, uma reversão à média é provável." E não: "Quando o financiamento está entre -0.023% e -0.019% às terças-feiras, depois de um candle vermelho..."

Intuitivos: você consegue explicar o mecanismo. Financiamento negativo extremo significa que os Shorts estão pagando os Longs—os Shorts estão amontoados. Operações concentradas tendem a se desfazer.

Robustos: funcionam em períodos diferentes, com parâmetros um pouco diferentes e em vários ativos. Se só funciona no BTC em 2021, não é um edge.

Modestos: edges reais costumam ter taxas de acerto de 52-58%, não de 80%. Isso basta para ser lucrativo com um bom position sizing (definir o tamanho da posição). Se o seu backtest mostra 80%, você provavelmente fez overfitting.


Seu plano de ação

Depois desta aula, faça o seguinte:

  1. Audite suas estratégias atuais. Conte os parâmetros. Se você tem mais de 5-6, provavelmente está com overfitting. Pense em simplificar.

  2. Confira a precisão dos seus parâmetros. Seus limiares são suspeitamente específicos? Arredonde-os para níveis padrão e veja se a estratégia continua funcionando.

  3. Procure regras que você adicionou por reação. Você adicionou um filtro porque viu uma operação perdedora? Esse filtro provavelmente é overfitting.

  4. Teste a estabilidade dos parâmetros. Se o seu RSI ótimo é 30, o que acontece em 25 e em 35? Piora gradual = bom. Precipício = ruim.

  5. Desconfie de resultados incríveis. Quanto melhor parece o seu backtest, mais cético você deve ser. Edges reais são modestos.


Próxima aula

Agora você entende por que as estratégias falham (Aula 1), o que separa edges de estratégias (Aula 2) e como o overfitting cria a ilusão de edge (Aula 3).

Na Aula 4, vamos ver "O que você precisa para montar um sistema de trading de sinais"—a infraestrutura realista, os custos e as habilidades necessários para colocar de pé uma operação de trading sistemático. É aqui que a maioria dos aspirantes a trader quantitativo percebe o verdadeiro tamanho do que está assumindo.

A maioria dos traders pula esta aula e mergulha direto na programação. Acaba reconstruindo o próprio sistema 5 vezes. Não seja esse trader.

Até a próxima aula.