TARGETHIT!

Mais

Comunidade

Tema

Idioma

Escola de trading quantitativo/Validação/Métricas de trading que importam (e as que não importam)
Validação12 min de leitura

Métricas de trading que importam (e as que não importam)

Taxa de acerto é vaidade, fator de lucro é sanidade, Sharpe é realidade

Métricas de trading que importam (e as que não importam)

Taxa de acerto é vaidade. Fator de lucro (profit factor) é sanidade. Índice de Sharpe é realidade.

Todo backtest de trading cospe dezenas de métricas. Algumas são essenciais para entender se uma estratégia funciona. Outras são distrações que fazem estratégias perdedoras parecerem boas. Saber a diferença é fundamental para uma validação honesta.

Taxa de acerto: superestimada

A taxa de acerto, a porcentagem de operações que dão lucro, é a métrica mais intuitiva e também a mais superestimada.

Psicologicamente, uma taxa de acerto alta é reconfortante. Ganhar 80% das operações soa impressionante. Mas a taxa de acerto sozinha não diz nada sobre a lucratividade. Uma estratégia que ganha 90% das operações, mas perde nas perdedoras 10 vezes mais do que ganha nas vencedoras, vai destruir sua conta.

Por outro lado, muitas estratégias altamente lucrativas têm taxas de acerto baixas. Estratégias de seguimento de tendência muitas vezes ganham só 30-40% das operações, mas lucram tanto nas vencedoras que o desempenho geral é forte.

A taxa de acerto importa para a psicologia da execução, e importa quando combinada com o tamanho médio dos ganhos e dos prejuízos. Sozinha, ela é quase inútil na avaliação.

Fator de lucro: essencial

O fator de lucro é a razão entre o lucro bruto e o prejuízo bruto. Se sua estratégia ganhou US$ 50,000 nas operações vencedoras e perdeu US$ 30,000 nas perdedoras, seu fator de lucro é 50,000/30,000 = 1.67.

Um fator de lucro maior que 1.0 significa que a estratégia é lucrativa. Abaixo de 1.0, significa que ela está perdendo dinheiro.

A beleza do fator de lucro é que ele captura o quadro completo: taxa de acerto, ganho médio e prejuízo médio, tudo resumido em um único número. Uma estratégia com taxa de acerto de 40%, mas relação ganho médio/prejuízo médio de 2.5, terá um fator de lucro saudável. Uma estratégia com taxa de acerto de 80%, mas relação ganho médio/prejuízo médio de 0.2, terá um fator de lucro péssimo.

No trading ao vivo, buscamos fatores de lucro acima de 1.5 nas estratégias de sinais. Entre 1.0 e 1.5 é marginal. Abaixo de 1.0 é obviamente não lucrativo.

O fator de lucro pode ser manipulado excluindo operações perdedoras ou escolhendo a dedo os períodos de tempo; por isso, confira se ele foi calculado sobre todo o histórico de negociações, com premissas realistas.

Índice de Sharpe: o padrão-ouro

O índice de Sharpe mede retornos ajustados ao risco. Ele responde à pergunta: quanto retorno você obtém por unidade de risco?

Calculado como (retorno médio - taxa isenta de risco) / desvio padrão dos retornos, o índice de Sharpe penaliza estratégias com retornos voláteis. Duas estratégias com retornos totais idênticos podem ter índices de Sharpe muito diferentes se uma obteve esses retornos de forma estável enquanto a outra oscilou violentamente.

Por que isso importa? Porque estratégias voláteis exigem drawdowns maiores para alcançar seus retornos. Uma estratégia com índice de Sharpe de 0.5 pode precisar aguentar drawdowns de 40% para capturar seu edge (vantagem estatística) de longo prazo. Uma estratégia com índice de Sharpe de 2.0 pode enfrentar só drawdowns de 10% para retornos semelhantes.

Índices de Sharpe mais altos também indicam edges mais confiáveis. Ruído aleatório produz índices de Sharpe baixos. Um alfa consistente produz índices altos.

Na prática, índices de Sharpe anuais acima de 1.0 são razoáveis, acima de 2.0 são excelentes, e acima de 3.0 são excepcionais e devem ser vistos com ceticismo (possivelmente com overfitting ou divulgados de forma incorreta).

Drawdown máximo: a métrica de sobrevivência

O drawdown máximo mede a maior queda do pico ao fundo na sua curva de patrimônio. Se sua conta foi de US$ 100,000 para US$ 70,000 antes de se recuperar, seu drawdown máximo foi de 30%.

Essa métrica importa para a sobrevivência. Nenhuma estratégia funciona se você quebrar antes de ela ter tempo de dar resultado. Drawdowns grandes também causam danos psicológicos que levam a decisões ruins, como abandonar estratégias no pior momento.

A relação entre o retorno esperado e o drawdown máximo determina se uma estratégia é operável. Um drawdown máximo de 50% para um retorno anual de 100% pode ser aceitável. Um drawdown máximo de 50% para um retorno anual de 20% é péssimo.

Avaliamos o drawdown máximo dentro do contexto: quanto tempo levou a recuperação? A estratégia passou por vários drawdowns parecidos ou foi um evento isolado? Que condições de mercado causaram o drawdown?

Expectativa: o edge matemático

A expectativa (ou expectativa matemática) calcula o lucro médio por operação.

A fórmula: (Taxa de acerto × Ganho médio) - (Taxa de erro × Prejuízo médio)

Uma estratégia com taxa de acerto de 60%, ganho médio de US$ 100 e prejuízo médio de US$ 80 tem expectativa de (0.60 × US$ 100) - (0.40 × US$ 80) = US$ 60 - US$ 32 = US$ 28 por operação.

A expectativa diz o que esperar de um grande número de operações. Uma expectativa positiva significa que você ganha dinheiro ao longo do tempo. Uma expectativa negativa significa que você perde. Expectativa zero significa que você está pagando custos de transação para ficar no zero a zero.

Por mais simples que seja, a expectativa ancora sua avaliação na matemática, e não nos sentimentos. Cada operação soma ou subtrai do seu edge estatístico. Conhecer sua expectativa mantém você focado no processo, e não no resultado.

Como as métricas podem enganar

Toda métrica pode ser manipulada ou apresentada de forma distorcida.

Viés de sobrevivência nas métricas: relatar só as estratégias que sobreviveram até o presente infla todas as métricas, porque as estratégias que fracassaram ficam de fora.

Períodos otimizados: escolher datas de início e de fim que maximizam o desempenho faz qualquer métrica parecer melhor do que a realidade.

Ignorar os custos de transação: uma estratégia com fator de lucro de 1.8 antes dos custos pode ter fator de lucro de 0.9 depois dos custos. Calcule sempre as métricas líquidas de custos de transação realistas.

Ignorar o slippage: backtests costumam presumir uma execução perfeita. O slippage real degrada todas as métricas.

Métricas anualizadas em períodos curtos: anualizar o retorno de 2 meses faz os números parecerem maiores, mas não gera projeções anualizadas significativas.

Entenda sempre como as métricas foram calculadas e quais premissas entraram nelas. Peça o histórico de negociações completo, operação por operação, e refaça os cálculos você mesmo se algo parecer suspeito.

Nossas prioridades de métricas

Na TargetHit, avaliamos as estratégias com esta hierarquia:

Primeiro filtro: fator de lucro acima de 1.5, com tamanho de amostra de 1,000+ operações. Isso elimina as estratégias não lucrativas e as que não têm validade estatística.

Segundo filtro: índice de Sharpe anual acima de 1.0. Isso assegura que o desempenho ajustado ao risco seja relevante.

Terceiro filtro: drawdown máximo abaixo de 25%. Isso assegura que dá para sobreviver à estratégia.

Quarto filtro: desempenho consistente nas janelas walk-forward. Isso assegura robustez, e não overfitting.

Se uma estratégia passa pelos quatro filtros, ela se torna candidata a mais testes e a uma possível entrada em produção.

Principais lições

A taxa de acerto sozinha não significa nada sem o contexto da relação ganho médio/prejuízo médio. O fator de lucro capta o quadro completo da lucratividade de uma estratégia. O índice de Sharpe mede os retornos ajustados ao risco e é o padrão-ouro para comparações. O drawdown máximo determina a capacidade de sobrevivência e a sustentabilidade psicológica. A expectativa quantifica seu edge matemático por operação. Toda métrica pode ser manipulada, então entenda os cálculos e confira as premissas.

A seguir, vamos tratar do teste de estresse com simulação de Monte Carlo, para ver se a sua estratégia consegue sobreviver a eventos de cisne negro.