TARGETHIT!

Mais

Comunidade

Tema

Idioma

Escola de trading quantitativo/Validação/Teste de estresse: simulação de Monte Carlo e além
Validação11 min de leitura

Teste de estresse: simulação de Monte Carlo e além

Sua estratégia sobreviveria a um cisne negro?

Teste de estresse: simulação de Monte Carlo e além

Sua estratégia sobrevive ao seu backtest. As métricas parecem boas ao longo de milhares de operações e de várias janelas walk-forward. Mas será que ela sobrevive a um evento de cisne negro?

Os backtests mostram um caminho possível ao longo da história. A realidade poderia ter se desenrolado de outra forma. A simulação de Monte Carlo e outras técnicas de teste de estresse mostram a gama de resultados possíveis, inclusive os ruins que não aconteceram nos seus dados históricos específicos.

O que é a simulação de Monte Carlo?

A simulação de Monte Carlo é uma técnica para entender a incerteza rodando muitas simulações aleatorizadas.

No trading, a aplicação mais comum é aleatorizar a ordem das operações. Seu backtest produziu uma sequência de operações que aconteceram em uma ordem específica. Mas essa ordem foi em parte arbitrária. E se as operações perdedoras tivessem se agrupado de outro jeito? E se você tivesse atingido o seu pior drawdown mais cedo, quando sua conta era menor?

A simulação de Monte Carlo embaralha a sua sequência de operações milhares de vezes e calcula as métricas de cada embaralhamento. Em vez de uma curva de patrimônio, você obtém milhares de curvas de patrimônio possíveis, todas feitas com as suas próprias operações, mas em ordens diferentes.

Essa distribuição de resultados mostra o que poderia ter acontecido, e não só o que de fato aconteceu.

Aleatorizando a ordem das operações

A abordagem de Monte Carlo mais simples pega a sua lista de operações e as embaralha aleatoriamente. Passe a sequência embaralhada pela lógica da sua curva de patrimônio. Registre o drawdown máximo, o patrimônio final e outras métricas. Repita 1,000+ vezes.

Agora você tem uma distribuição de drawdowns máximos em vez de um único número. Talvez seu backtest tenha mostrado um drawdown máximo de 18%, mas 5% das rodadas de Monte Carlo mostraram drawdowns acima de 35%. Isso indica que um drawdown de 35% era perfeitamente possível com o edge (vantagem estatística) que você de fato tem.

Isso é crucial para o position sizing (definir o tamanho da posição). Se você dimensionou as posições para um drawdown máximo de 18% e na prática enfrentou 35%, pode quebrar. O Monte Carlo mostra os riscos de cauda.

A premissa aqui é que as operações são independentes, ou seja, que o resultado de uma operação não afeta a próxima. Para muitas estratégias, isso é aproximadamente verdade. Para estratégias com correlação serial entre as operações, você precisa de uma simulação mais sofisticada.

Distribuições de probabilidade de drawdown

Os resultados de Monte Carlo permitem responder a perguntas como: qual é a probabilidade de um drawdown de 30%? E de 40%? E de 50%?

Plote a distribuição dos drawdowns máximos das suas simulações. O drawdown do percentil 95 mostra o pior cenário para o qual você deve, de forma razoável, se planejar. Se 95% das simulações ficaram acima de -25% e só 5% passaram disso, você pode adotar -25% como seu limite de planejamento de risco.

Isso é muito mais útil do que um único número de drawdown do backtest. O trading real vai enfrentar sequências de operações diferentes das que o seu backtest mostrou. Planejar para os 5% de sequências mais desfavoráveis é gerenciamento de risco prudente.

Você também pode examinar as distribuições de duração dos drawdowns. Por quanto tempo você ficou abaixo do pico anterior em cada simulação? Algumas estratégias têm drawdowns rasos que duram uma eternidade; outras têm drawdowns profundos que se recuperam rápido. Entender o perfil de drawdown da sua estratégia ajuda você a se preparar psicologicamente.

Teste de estresse por regime

O Monte Carlo testa o que poderia ter acontecido com base nas operações que você de fato teve. O teste de estresse por regime faz uma pergunta diferente: o que acontece se as condições de mercado mudarem?

Talvez o backtest da sua estratégia tenha coberto principalmente mercados de alta, ou principalmente mercados laterais. Como ela se sai em condições fora do período do seu backtest?

Uma abordagem é identificar períodos históricos com características extremas, como crashes severos, altas explosivas (melt-ups) e picos de volatilidade, e ver como sua estratégia se saiu nesses momentos específicos. Se o período do seu backtest não incluiu um crash como o de março de 2020, teste manualmente nesse período.

Outra abordagem é criar condições extremas de forma sintética. Pegue as operações do seu backtest e pergunte: e se cada operação perdedora tivesse sido 50% pior? E se as operações vencedoras tivessem sido 30% menores? Isso delimita o seu desempenho em cenários adversos.

Nosso teste de regime se concentra no filtro de regime do BTC. As estratégias são avaliadas separadamente em regimes de alta, regimes de baixa e regimes laterais. Uma estratégia que só funciona em mercados de alta não é inválida, mas você precisa conhecer as limitações dela.

Quando desligar uma estratégia

O teste de estresse ajuda a responder à pergunta mais difícil do trading quantitativo: quando você deve abandonar uma estratégia?

Toda estratégia tem fases de prejuízo. A questão é se esses prejuízos ficam dentro dos parâmetros esperados ou se são um sinal de que o edge desapareceu.

Se a sua simulação de Monte Carlo mostrou 5% de probabilidade de um drawdown de 30% e você passa por um drawdown de 30%, isso está dentro do esperado. Você continua operando. Se você passa por um drawdown de 50% que só 0.1% das simulações previram, provavelmente algo mudou. A estratégia pode ter parado de funcionar.

Definimos critérios explícitos de desligamento antes de colocar qualquer estratégia em produção. Um drawdown além do percentil 99 das simulações de Monte Carlo dispara uma revisão. Um desempenho abaixo do percentil 10 dos resultados esperados por períodos prolongados dispara uma revisão. Uma sequência de operações perdedoras que passa do esperado em mais de 3 desvios padrão dispara uma revisão.

Ter critérios definidos de antemão tira a emoção da decisão. Quando você está em um drawdown, pode comparar o desempenho atual com os parâmetros esperados, em vez de entrar em pânico ou ficar torcendo.

Implementação prática do teste de estresse

Veja um processo de Monte Carlo simplificado:

Exporte as operações do seu backtest como uma lista com o lucro/prejuízo de cada operação. Escreva um script que embaralhe essa lista aleatoriamente e depois simule o crescimento do patrimônio a partir de US$ 10,000 (ou do capital inicial que você quiser). Calcule o drawdown máximo e o patrimônio final. Repita 5,000 vezes. Plote a distribuição dos resultados.

Abordagens mais sofisticadas incluem o bootstrapping (reamostragem com reposição), o block bootstrapping (que preserva parte do agrupamento das operações) e a simulação paramétrica (que modela os retornos das operações como uma distribuição e tira amostras dela).

No teste de regime, segmente suas operações por condição de mercado e analise o desempenho separadamente. Depois, faça o teste de estresse reduzindo o tamanho das operações vencedoras ou aumentando o das perdedoras, para ver a sensibilidade.

Principais lições

A simulação de Monte Carlo aleatoriza a ordem das operações para mostrar a gama de resultados possíveis, e não só o que aconteceu no seu backtest. As distribuições de probabilidade de drawdown revelam riscos de cauda que os números isolados do backtest escondem. Planeje-se para o drawdown do percentil 95, não para o drawdown do backtest. O teste de estresse por regime examina o desempenho em condições fora do período principal do seu backtest. Defina critérios explícitos de desligamento antes de entrar em produção, para poder avaliar os drawdowns de forma objetiva.

Isso encerra o nível Validação. Agora você entende por que os backtests mentem, como o look-ahead bias (usar, sem perceber, dados do futuro) e o overfitting criam edges falsos, como a validação walk-forward revela a verdade, por que o tamanho da amostra importa, em quais métricas confiar e como fazer testes de estresse para os riscos de cauda. A seguir, passamos ao nível Descoberta, em que você vai aprender a encontrar, de forma sistemática, edges que passam por todos esses filtros de validação.