Validação walk-forward: como testar em dados nunca vistos
Esta é a técnica que separa os backtests amadores da validação de nível institucional.
Uma simples divisão entre treino e teste pode enganar você. Você otimiza nos dados de treino, testa nos dados de teste e, se os resultados parecem bons, declara vitória. Mas esse único período de teste pode ter sido só sorte. A validação walk-forward testa sua estratégia em muitos períodos diferentes, o que dá uma confiança muito maior de que o edge (vantagem estatística) é real.
O que é a validação walk-forward?
A validação walk-forward simula o que de fato acontece quando você desenvolve uma estratégia de trading e a coloca em produção ao longo do tempo.
O processo é este: você pega seus dados históricos e os divide em segmentos. No primeiro segmento, otimiza os parâmetros da estratégia na parte de treino e depois testa no período seguinte. Registre os resultados. Então avance no tempo, otimize de novo com novos dados de treino e teste no período seguinte. Repita até ter percorrido todos os seus dados.
A ideia central é que você nunca testa em dados que influenciaram a otimização. Cada período de teste está realmente fora da amostra em relação ao treino que produziu aqueles parâmetros específicos.
Isso imita a realidade. Ao operar ao vivo, você desenvolve sua estratégia com dados históricos, coloca a estratégia em produção e ela enfrenta dados futuros realmente desconhecidos. A validação walk-forward repete esse processo várias vezes ao longo do seu conjunto de dados históricos.
Por que uma divisão treino/teste não basta
Uma única divisão treino/teste tem um problema fundamental: você não tem ideia se o seu período de teste foi representativo.
Talvez o seu período de teste tenha sido, por acaso, um regime especialmente favorável para a sua estratégia. Talvez a pura sorte tenha gerado algumas operações vencedoras a mais. Você tem exatamente um ponto de dado sobre o desempenho fora da amostra, e isso não diz quase nada sobre se a estratégia vai funcionar no futuro.
A validação walk-forward dá a você muitos pontos de dado. Se sua estratégia vai bem em 10 ou 20 períodos de teste diferentes, cada um depois da sua própria otimização, você tem evidências muito mais fortes de que o edge é real.
Além disso, uma única divisão não leva em conta a deriva dos parâmetros. Os parâmetros ótimos podem mudar com o tempo, à medida que os mercados evoluem. A validação walk-forward permite otimizar de novo periodicamente, o que representa melhor como você de fato gerenciaria a estratégia ao vivo.
A abordagem de janela móvel
A implementação mais comum do walk-forward usa janelas móveis.
Defina a duração da janela de treino, digamos 12 meses de dados. Defina a duração da janela de teste, digamos 3 meses. Defina o tamanho do passo, ou seja, quanto avançar entre uma iteração e a seguinte.
Começando do início dos seus dados: treine nos meses 1-12 e teste nos meses 13-15. Depois treine nos meses 4-15 (deslocados em 3) e teste nos meses 16-18. Continue até os dados acabarem.
Cada iteração produz um conjunto de operações executadas durante a janela de teste, com parâmetros otimizados apenas em dados anteriores. Junte todas essas operações dos períodos de teste para obter o seu desempenho walk-forward.
Uma variação é o walk-forward ancorado, em que a janela de treino cresce com o tempo, mas sempre começa do início. Treine nos meses 1-12 e teste nos 13-15. Depois treine nos meses 1-15 e teste nos 16-18. Assim, cada otimização incorpora todo o histórico disponível.
Como implementar
Implementar a validação walk-forward exige reestruturar o jeito como você pensa o backtesting.
Primeiro, separe a lógica de otimização da lógica de teste. Você precisa conseguir rodar um otimizador em qualquer intervalo de datas e obter parâmetros ótimos, e depois rodar um backtest com parâmetros fixos em qualquer outro intervalo de datas.
Segundo, crie um loop que percorra o tempo. A cada passo, chame o otimizador na janela de treino, capture os parâmetros e depois chame o backtest na janela de teste com esses parâmetros. Armazene os resultados.
Terceiro, agregue os resultados de todas as janelas de teste. Isso dá o verdadeiro desempenho walk-forward: o agregado de todos os períodos fora da amostra.
O custo computacional é alto. Se você tem 100 combinações de parâmetros e roda 20 iterações de walk-forward, está rodando 2,000 otimizações mais 20 testes. É por isso que quem faz trading quantitativo a sério tem infraestrutura de computação.
Como interpretar os resultados do walk-forward
Os resultados do walk-forward dizem várias coisas importantes.
O desempenho walk-forward geral é a métrica principal. Se a estratégia é lucrativa no conjunto de todas as janelas de teste agregadas, você tem evidência de um edge real. Se ela dá prejuízo, o edge provavelmente é fruto de overfitting a períodos históricos específicos.
A consistência entre as janelas importa quase tanto quanto o desempenho total. Uma estratégia com resultados fortes em 15 de 20 janelas é mais robusta do que uma com resultados incríveis em 5 janelas e prejuízo nas outras 15.
A estabilidade dos parâmetros revela o risco de overfitting. Se os parâmetros ótimos mudam radicalmente de uma janela de treino para a seguinte, a estratégia provavelmente está se ajustando ao ruído. Estratégias robustas mostram parâmetros ótimos relativamente estáveis ao longo do tempo.
A degradação ao longo do tempo é um sinal de aviso. Se a estratégia foi bem nas janelas mais antigas, mas mal nas mais recentes, as condições de mercado podem ter mudado de um jeito que invalidou o edge.
Nosso processo de walk-forward
Na TargetHit, todo edge passa pela validação walk-forward antes de entrar em produção.
Usamos uma abordagem de janela móvel com aproximadamente 1,100 dias de dados históricos. Cada edge é otimizado na parte de treino e depois testado nos dados seguintes. Exigimos desempenho consistente em todas as janelas do walk-forward, não apenas bons resultados agregados.
A taxa de acerto no walk-forward é a nossa principal métrica de validação. Um edge pode mostrar taxa de acerto de 90% dentro da amostra, mas, se a validação walk-forward mostra 65%, usamos 65% como expectativa para operar ao vivo. O número do walk-forward está mais perto da realidade.
Os edges que passam na validação walk-forward ainda passam por testes adicionais, mas o walk-forward é o primeiro grande filtro. A maioria dos edges descobertos é reprovada nesta etapa.
Principais lições
A validação walk-forward testa estratégias em vários períodos fora da amostra, otimizando em janelas de treino móveis e testando nos dados seguintes. Uma única divisão treino/teste não basta porque você não sabe se o seu período de teste foi representativo. Implemente o walk-forward como um loop que otimiza, testa e avança, repetidamente. Avalie o desempenho total, a consistência entre as janelas, a estabilidade dos parâmetros e se o desempenho está se degradando com o tempo. Os resultados do walk-forward ficam mais perto do desempenho ao vivo do que os backtests dentro da amostra.
Na próxima aula, vamos encarar a questão do tamanho da amostra: de quantas operações você realmente precisa antes de poder confiar em uma estratégia?