TARGETHIT!

Mais

Comunidade

Tema

Idioma

Escola de trading quantitativo/Descoberta/Otimização de parâmetros: como testar milhões de combinações
Descoberta13 min de leitura

Otimização de parâmetros: como testar milhões de combinações

Como fazemos descoberta em massa sem nos afogar em falsos positivos

A escala da nossa descoberta

Aqui vai um número que pode surpreender você: testamos rotineiramente milhões de combinações de indicadores.

Com mais de 50 indicadores normalizados, vários níveis de limiar por indicador, duas direções (LONG/SHORT), vários tempos de permanência na posição e filtros de regime—o espaço combinatório é enorme.

Não dá para testar isso manualmente. Não dá nem para avaliar os resultados no olho. Você precisa de uma infraestrutura sistemática para gerar, testar, filtrar e acompanhar candidatos em escala.

Esta aula mostra como fazemos isso, inclusive como evitamos a armadilha de encontrar "edges" (vantagens estatísticas) que não passam de ruído estatístico.

A arquitetura de busca em grade (grid search)

Nosso sistema de descoberta usa busca em grade com filtragem inteligente:

Camada 1: seleção de indicadores Começamos com ~50 indicadores normalizados por z-score. Nem toda combinação faz sentido, então definimos os pares permitidos com base nas categorias de indicadores.

Camada 2: grade de limiares Para cada indicador, teste vários níveis de limiar:

  • Limiar forte: z > 2.0 ou z < -2.0
  • Limiar médio: z > 1.5 ou z < -1.5
  • Limiar brando: z > 1.0 ou z < -1.0

Camada 3: direção Cada combinação é testada tanto para sinais LONG quanto para sinais SHORT.

Camada 4: tempo de permanência na posição Vários horizontes-alvo: 1h, 2h, 4h, 8h, 24h.

Camada 5: filtro de regime Aplique filtros de regime: só alta, só baixa, só alta volatilidade, sem filtro.

A conta: 50 indicadores × 50 indicadores secundários × 3 limiares × 3 limiares × 2 direções × 5 horizontes × 4 filtros de regime = 45 milhões de combinações.

Não testamos todos os 45 milhões (a filtragem inteligente reduz drasticamente esse número), mas ainda assim testamos milhões.

Considerações computacionais

Testar milhões de combinações exige eficiência:

Backtesting vetorizado Nada de loops for sobre os candles. Tudo roda em arrays do numpy e dataframes do pandas. O backtest de um único edge deve levar milissegundos, não segundos.

Processamento paralelo Vários núcleos de CPU testando subconjuntos diferentes de combinações ao mesmo tempo. Usamos o multiprocessing do Python para paralelizar entre os núcleos.

Dados pré-calculados Todos os z-scores, rótulos de regime e retornos-alvo são calculados uma única vez, logo no início. A descoberta consulta arrays pré-calculados em vez de recalcular a cada teste.

Armazenamento dos resultados Os resultados vão para um banco de dados, não para arquivos. Um PostgreSQL com os índices certos permite consultas rápidas: "Mostre todos os edges LONG com taxa de acerto >70% e >500 amostras no regime de alta."

Descoberta incremental Registre o que já foi testado. Quando chegarem dados novos, teste as combinações só nos dados novos e depois junte com os resultados existentes.

Com uma boa infraestrutura, testar 1 milhão de combinações leva horas, não dias.

O problema das comparações múltiplas

Aqui está o perigo: quando você testa milhões de combinações, VAI encontrar algumas com resultados de backtest incríveis por puro acaso.

Esse é o problema das comparações múltiplas. Se você jogar uma moeda 1,000 vezes e procurar qualquer sequência de 20 lançamentos, vai encontrar trechos que parecem vir de uma moeda viciada. Não vêm—são ruído aleatório.

O mesmo vale para a descoberta de edges. Teste um milhão de combinações e 1% vai mostrar taxas de acerto de 65%+ por acaso. São 10,000 edges falsos.

Como lidamos com isso?

Salvaguardas estatísticas

1. Requisitos de tamanho da amostra

Mais amostras = menos chance de ser ruído. Exigimos tamanhos mínimos de amostra:

  • Pelo menos 500 eventos para uma primeira análise
  • Pelo menos 1,000 eventos para alta confiança

Uma taxa de acerto de 75% em 50 operações é suspeita. Uma taxa de acerto de 65% em 2,000 operações é significativa.

2. Validação walk-forward

Divida os dados no tempo:

  • Período de descoberta: os primeiros 70% dos dados
  • Período de validação: os últimos 30% dos dados

O edge precisa funcionar nos DOIS períodos. Edges com ajuste à curva (curve fitting) falham fora da amostra.

Fazemos isso várias vezes, com pontos de corte diferentes. Se um edge só funciona em uma configuração de corte, provavelmente é ruído.

3. Correção no estilo Bonferroni

A abordagem estatística clássica: se você testa N combinações, reduza seu limiar de significância por um fator de N.

Na prática, não aplicamos o Bonferroni estrito (conservador demais), mas subimos o sarrafo do que conta como "interessante". Testar um milhão de combinações significa que um único edge com taxa de acerto de 65% não impressiona—precisamos de 70%+.

4. Teste de estabilidade dos parâmetros

Se um edge funciona com limiar 2.0, mas falha em 1.9 e em 2.1, provavelmente sofreu overfitting exatamente em 2.0.

Testamos vizinhanças de parâmetros. Edges robustos têm bom desempenho em uma faixa de parâmetros próximos.

5. Filtro de justificativa econômica

O edge faz sentido? Você consegue explicar POR QUE ele deveria funcionar?

"Financiamento extremamente negativo, combinado com OI subindo em mercados de alta, leva a repiques" tem uma história por trás: os Shorts alavancados demais sofrem um squeeze.

"O RSI de 17 períodos cruzando abaixo de 23.4 no BTC" não tem história nenhuma. Provavelmente é ruído.

Rejeitamos edges que passam nos testes estatísticos, mas não têm uma explicação racional.

Separar a descoberta da validação

Princípio crítico: os dados que encontram os edges não podem ser os mesmos dados que os validam.

Nosso fluxo de trabalho:

  1. Fase de descoberta: rode a busca em grade no conjunto de dados de descoberta
  2. Fase de filtragem: aplique filtros estatísticos aos sobreviventes
  3. Fase de validação: teste os sobreviventes filtrados nos dados de validação reservados
  4. Fase de robustez: teste a estabilidade entre parâmetros e períodos
  5. Fase demo: forward test (teste em tempo real) com dados ao vivo, sem dinheiro real

Só depois de todas as fases um edge recebe capital real.

Os dados de validação são sagrados. Eles não encostam na descoberta, de jeito nenhum. Isso evita um vazamento de dados sutil, em que o desempenho na validação fica inflado por informações que vazaram da descoberta.

Acompanhamento e gestão dos resultados

Com milhões de combinações testadas, a organização importa:

Esquema do banco de dados de resultados

  • ID do edge (identificador único)
  • Indicador primário + limiar
  • Indicador secundário + limiar
  • Direção (LONG/SHORT)
  • Filtro de regime
  • Tempo de permanência na posição
  • Data da descoberta
  • Tamanho da amostra
  • Taxa de acerto
  • Fator de lucro (profit factor)
  • Índice de Sharpe
  • Status da validação
  • Observações

Padrões de consulta

  • "Todos os edges com taxa de acerto >65% e >1000 amostras no regime de baixa"
  • "Melhores edges LONG que usam o financiamento como indicador primário"
  • "Edges que passaram na validação walk-forward"

Controle de versão Quando adicionamos novos indicadores ou mudamos a normalização, registramos quais edges foram descobertos em qual versão dos dados. Edges antigos podem precisar de uma nova validação.

Detecção de duplicatas Edges parecidos costumam aparecer várias vezes, com pequenas variações. Detectamos e juntamos os quase duplicados para não contar o mesmo edge várias vezes.

O pipeline de descoberta na prática

Exemplo real do nosso processo:

Semana 1: atualização dos dados Chegam dados novos da HyBlock. Atualizamos os arquivos parquet, recalculamos os z-scores e geramos de novo os rótulos de regime.

Semana 2: busca em grade Rodamos a descoberta em SOL com os dados mais recentes. Testamos 2 milhões de combinações em todos os pares de indicadores. Leva ~6 horas em 32 núcleos.

Semana 3: filtragem inicial Consultamos os resultados: 15,000 combinações mostram taxa de acerto >60%. Aplicamos o filtro de tamanho da amostra (>500): sobram 3,200. Aplicamos o walk-forward: sobram 890.

Semana 4: teste de robustez Testamos a estabilidade dos parâmetros nos 890 sobreviventes. Passam 340. Checamos a justificativa econômica—240 fazem sentido.

Semana 5: validação final Passamos os 240 candidatos pelo período de validação reservado. 67 têm desempenho aceitável.

Semana 6: decisões de promoção Revisamos os 67 edges validados. Escolhemos os 10-15 melhores para o trading demo, com base em descorrelação, diversidade de regimes e frequência de sinais.

De milhões de combinações a dezenas de edges operáveis. Esse é o funil.

Os modos de falha mais comuns

Filtragem excessiva: requisitos tão rígidos que nada passa. Resultado: nenhum edge promovido, custo de oportunidade.

Filtragem insuficiente: requisitos frouxos demais, e o ruído passa. Resultado: edges falsos explodem em produção.

Viés de confirmação: favorecer edges que combinam com suas crenças prévias. Resultado: você perde edges que funcionam por motivos que não esperava.

Viés de recência: dar peso demais ao desempenho recente na validação. Resultado: edges específicos de um regime confundidos com edges universais.

Escalada de complexidade: adicionar mais fatores para melhorar os números do backtest. Resultado: edges com overfitting que falham daqui para a frente.

O equilíbrio é a chave. Seja rigoroso, mas sem ficar paralisado. Filtre o ruído, mas aceite que alguma incerteza é inevitável.

Principais lições

  1. A descoberta sistemática exige testar milhões de combinações—testar à mão não funciona
  2. Busca em grade por indicadores, limiares, direções, horizontes e regimes
  3. O problema das comparações múltiplas é real—a maioria dos backtests "bons" é ruído
  4. Salvaguardas: tamanhos de amostra grandes, validação walk-forward, estabilidade dos parâmetros, justificativa econômica
  5. Separação rígida entre os dados de descoberta e os dados de validação
  6. Registro dos resultados em banco de dados, para consultar e organizar
  7. O funil é implacável: milhões de candidatos → dezenas de edges operáveis

A escala cria oportunidade—quanto mais você testa, mais edges reais encontra. Mas a escala também cria perigo—quanto mais você testa, mais o ruído se parece com sinal. Uma higiene estatística rigorosa é o que separa uma descoberta produtiva de um data mining aleatório.