TARGETHIT!

Diğer

Topluluk

Tema

Dil

Algoritmik işlem okulu/Keşif/Milyonlarca kombinasyonu test etmek: parametre optimizasyonu
Keşif13 dk okuma

Milyonlarca kombinasyonu test etmek: parametre optimizasyonu

Yanlış pozitiflerde boğulmadan dev ölçekte keşif yapmanın yolu

Keşfimizin ölçeği

İşte sizi şaşırtabilecek bir rakam: rutin olarak milyonlarca gösterge kombinasyonunu test ediyoruz.

50+ normalize edilmiş gösterge, gösterge başına birden fazla eşik seviyesi, iki yön (LONG/SHORT), birden fazla elde tutma süresi ve rejim filtreleri bir araya geldiğinde kombinasyon uzayı devasa hale gelir.

Bunu elle test edemezsiniz. Sonuçlara göz gezdirerek değerlendirme yapmanız bile mümkün değil. Adayları büyük ölçekte üretmek, test etmek, filtrelemek ve takip etmek için sistematik bir altyapıya ihtiyacınız var.

Bu derste bunu nasıl yaptığımızı ve tamamen istatistiksel gürültüden ibaret "avantajlar" (edge) bulma tuzağından nasıl kaçındığımızı anlatıyoruz.

Grid search (ızgara arama) mimarisi

Keşif sistemimiz, akıllı filtrelemeyle desteklenen grid search ile arama yapar:

1. katman: Gösterge seçimi İşe z-score (z puanı) ile normalize edilmiş ~50 göstergeyle başlayın. Her kombinasyon anlamlı değildir; bu yüzden gösterge kategorilerine göre izin verilen eşleşmeleri tanımlıyoruz.

2. katman: Eşik ızgarası Her gösterge için birden fazla eşik seviyesini test edin:

  • Güçlü eşik: z > 2.0 veya z < -2.0
  • Orta eşik: z > 1.5 veya z < -1.5
  • Hafif eşik: z > 1.0 veya z < -1.0

3. katman: Yön Her kombinasyon hem LONG hem SHORT sinyaller için test edilir.

4. katman: Elde tutma süresi Birden fazla hedef ufku: 1, 2, 4, 8 ve 24 saat.

5. katman: Rejim filtresi Rejim filtrelerini uygulayın: yalnızca boğa, yalnızca ayı, yalnızca yüksek volatilite, filtresiz.

Hesap şöyle: 50 gösterge × 50 ikincil gösterge × 3 eşik × 3 eşik × 2 yön × 5 ufuk × 4 rejim filtresi = 45 milyon kombinasyon.

45 milyonun hepsini test etmiyoruz (akıllı filtreleme bu sayıyı ciddi ölçüde düşürüyor), ama yine de milyonlarca kombinasyon test ediyoruz.

Hesaplama açısından dikkat edilecekler

Milyonlarca kombinasyonu test etmek verimlilik gerektirir:

Vektörize backtest (geçmiş veride test) Mumlar üzerinde for döngüsü yok. Her şey numpy dizileri ve pandas dataframe'leri üzerinde çalışır. Tek bir avantajın backtest'i saniyeler değil, milisaniyeler sürmelidir.

Paralel işleme Birden fazla CPU çekirdeği, farklı kombinasyon alt kümelerini aynı anda test eder. İşi çekirdeklere dağıtmak için Python multiprocessing kullanıyoruz.

Önceden hesaplanmış veriler Tüm z puanları, rejim etiketleri ve hedef getiriler baştan bir kez hesaplanır. Keşif, her test için yeniden hesaplama yapmak yerine önceden hesaplanmış dizileri sorgular.

Sonuçların depolanması Sonuçlar dosyalara değil, veritabanına yazılır. Doğru indekslerle kurulmuş bir PostgreSQL hızlı sorgular yapmanıza imkân verir: "Boğa rejiminde kazanma oranı >%70 ve örneklem sayısı >500 olan tüm LONG avantajları göster."

Artımlı keşif Nelerin test edildiğini takip edin. Yeni veri geldiğinde kombinasyonları yalnızca yeni veri üzerinde test edin, ardından mevcut sonuçlarla birleştirin.

İyi bir altyapıyla 1 milyon kombinasyonu test etmek günler değil, saatler sürer.

Çoklu karşılaştırma sorunu

Tehlike şu: milyonlarca kombinasyonu test ettiğinizde, tamamen şans eseri muhteşem backtest sonuçları veren kombinasyonlar MUTLAKA bulursunuz.

Buna çoklu karşılaştırma sorunu denir. Yazı tura için bir parayı 1,000 kez atıp herhangi bir 20 atışlık diziye bakarsanız, hileli bir parayla atılmış gibi görünen seriler bulursunuz. Öyle değiller; bunlar rastgele gürültüdür.

Avantaj keşfinde de durum aynı. Bir milyon kombinasyonu test edin; %1'i şans eseri %65 ve üzeri bir kazanma oranı gösterecektir. Bu da 10,000 sahte avantaj demek.

Bununla nasıl başa çıkıyoruz?

İstatistiksel koruma önlemleri

1. Örneklem büyüklüğü şartları

Daha fazla örneklem = gürültü olma ihtimali daha düşük. Minimum örneklem büyüklükleri şart koşuyoruz:

  • İlk değerlendirme için en az 500 olay
  • Yüksek güven için en az 1,000 olay

50 işlemde %75 kazanma oranı şüphelidir. 2,000 işlemde %65 kazanma oranı ise anlamlıdır.

2. Walk forward doğrulaması

Veriyi zamana göre bölün:

  • Keşif dönemi: Verinin ilk %70'i
  • Doğrulama dönemi: Verinin son %30'u

Avantaj HER İKİ dönemde de çalışmalıdır. Curve fitting (eğri uydurma) ürünü avantajlar örneklem dışı veride başarısız olur.

Bunu farklı bölme noktalarıyla birden çok kez yapıyoruz. Bir avantaj yalnızca tek bir bölme düzeninde çalışıyorsa büyük olasılıkla gürültüdür.

3. Bonferroni tarzı düzeltme

Klasik istatistiksel yaklaşım: N kombinasyon test ediyorsanız, anlamlılık eşiğinizi N kat düşürün.

Pratikte katı Bonferroni düzeltmesi uygulamıyoruz (fazla muhafazakâr), ama neyin "ilginç" sayılacağı konusunda çıtayı yükseltiyoruz. Bir milyon kombinasyon test ettiğinizde, kazanma oranı %65 olan tek bir avantaj etkileyici değildir; %70 ve üzerine ihtiyacımız var.

4. Parametre kararlılığı testi

Bir avantaj 2.0 eşiğinde çalışıyor ama 1.9 ve 2.1'de başarısız oluyorsa, büyük olasılıkla tam olarak 2.0'a overfit edilmiştir (aşırı uyum).

Parametre komşuluklarını test ediyoruz. Sağlam avantajlar, birbirine yakın parametrelerden oluşan bir aralık boyunca iyi performans gösterir.

5. Ekonomik gerekçe filtresi

Avantaj mantıklı mı? NEDEN çalışması gerektiğini açıklayabiliyor musunuz?

"Boğa piyasalarında aşırı negatif fonlama ile birlikte artan OI (toplam açık pozisyon), tepki yükselişlerine yol açar" ifadesinin bir hikâyesi var: aşırı kaldıraçlı Short'lar sıkıştırılır.

"BTC'de 17 periyotluk RSI 23.4'ün altına iniyor" ifadesinin ise hiçbir hikâyesi yok. Büyük olasılıkla gürültüdür.

İstatistiksel testleri geçen ama rasyonel bir açıklaması olmayan avantajları reddediyoruz.

Keşfi doğrulamadan ayırmak

Kritik ilke: avantajları bulan veri, onları doğrulayan veri olamaz.

İş akışımız:

  1. Keşif aşaması: Keşif veri setinde grid search ile arama yapın
  2. Filtre aşaması: Elemeyi geçenlere istatistiksel filtreler uygulayın
  3. Doğrulama aşaması: Filtrelenen adayları kenara ayrılmış doğrulama verisinde test edin
  4. Sağlamlık aşaması: Kararlılığı farklı parametrelerde ve farklı zaman dönemlerinde test edin
  5. Demo aşaması: Gerçek para kullanmadan canlı veride forward test yapın

Bir avantaja ancak tüm aşamalardan sonra gerçek sermaye ayrılır.

Doğrulama verisi kutsaldır. Keşif sürecine hiç dokunmaz. Bu, keşiften sızan bilgilerin doğrulama performansını şişirdiği sinsi veri sızıntılarını önler.

Sonuçların takibi ve yönetimi

Milyonlarca kombinasyon test edildiğinde düzen önem kazanır:

Sonuç veritabanı şeması

  • Avantaj kimliği (benzersiz tanımlayıcı)
  • Birincil gösterge + eşik
  • İkincil gösterge + eşik
  • Yön (LONG/SHORT)
  • Rejim filtresi
  • Elde tutma süresi
  • Keşif tarihi
  • Örneklem büyüklüğü
  • Kazanma oranı
  • Kâr faktörü
  • Sharpe oranı
  • Doğrulama durumu
  • Notlar

Sorgu kalıpları

  • "Ayı rejiminde kazanma oranı >%65 ve örneklem sayısı >1000 olan tüm avantajlar"
  • "Birincil gösterge olarak fonlamayı kullanan en iyi LONG avantajlar"
  • "Walk forward doğrulamasını geçen avantajlar"

Sürüm kontrolü Yeni göstergeler eklediğimizde veya normalizasyonu değiştirdiğimizde, hangi avantajın hangi veri sürümüyle keşfedildiğini takip ediyoruz. Eski avantajların yeniden doğrulanması gerekebilir.

Mükerrer kayıt tespiti Benzer avantajlar küçük farklarla çoğu zaman birden fazla kez karşımıza çıkar. Aynı avantajı tekrar tekrar saymamak için neredeyse aynı olanları tespit edip birleştiriyoruz.

Uygulamada keşif süreci

Sürecimizden gerçek bir örnek:

1. hafta: Veri güncellemesi Yeni HyBlock verileri gelir. Parquet dosyalarını güncelliyor, z puanlarını yeniden hesaplıyor, rejim etiketlerini yeniden oluşturuyoruz.

2. hafta: Grid search ile arama En güncel verilerle SOL için keşif başlatılır. Tüm gösterge çiftlerinde 2 milyon kombinasyon test edilir. 32 çekirdekte ~6 saat sürer.

3. hafta: İlk filtreleme Sorgu sonuçları: 15,000 kombinasyon >%60 kazanma oranı gösteriyor. Örneklem büyüklüğü filtresi (>500) uygulanınca sayı 3,200'e iniyor. Walk forward uygulanınca 890'a iniyor.

4. hafta: Sağlamlık testi Elemeyi geçen 890 aday üzerinde parametre kararlılığı test edilir. 340'ı geçer. Ardından ekonomik gerekçe kontrol edilir; 240'ı mantıklıdır.

5. hafta: Son doğrulama 240 aday, kenara ayrılmış doğrulama döneminden geçirilir. 67'si kabul edilebilir performans gösterir.

6. hafta: Terfi kararları Doğrulanmış 67 avantaj incelenir. Düşük korelasyon, rejim çeşitliliği ve sinyal sıklığına göre en iyi 10-15 tanesi demo işlem için seçilir.

Milyonlarca kombinasyondan onlarca işlem yapılabilir avantaja. İşte huni bu.

Yaygın başarısızlık türleri

Aşırı filtreleme: Şartlar o kadar katı ki hiçbir şey geçemiyor. Sonuç: Hiçbir avantaj terfi ettirilmez, fırsat maliyeti oluşur.

Yetersiz filtreleme: Şartlar fazla gevşek, gürültü içeri sızıyor. Sonuç: Sahte avantajlar üretim ortamında patlar.

Doğrulama yanlılığı: Ön kabullerinize uyan avantajları kayırmak. Sonuç: Beklemediğiniz nedenlerle işe yarayan avantajları kaçırırsınız.

Güncellik yanlılığı: Doğrulamada son dönem performansına fazla ağırlık vermek. Sonuç: Belirli bir rejime özgü avantajlar evrensel avantaj sanılır.

Giderek artan karmaşıklık: Backtest rakamlarını iyileştirmek için daha fazla faktör eklemek. Sonuç: İleriye dönük testte başarısız olan overfit avantajlar.

Önemli olan dengeyi kurmak. Titiz olun ama felç olmayın. Gürültüyü filtreleyin, ama bir miktar belirsizliğin kaçınılmaz olduğunu kabul edin.

Temel çıkarımlar

  1. Sistematik keşif, milyonlarca kombinasyonu test etmeyi gerektirir; elle test işe yaramaz
  2. Göstergeler, eşikler, yönler, ufuklar ve rejimler genelinde grid search ile arama yapın
  3. Çoklu karşılaştırma sorunu gerçektir; "iyi" backtest'lerin çoğu gürültüdür
  4. Koruma önlemleri: yüksek örneklem büyüklüğü, walk forward doğrulaması, parametre kararlılığı, ekonomik gerekçe
  5. Keşif verisi ile doğrulama verisi arasında katı ayrım
  6. Sorgulama ve düzen için veritabanı tabanlı sonuç takibi
  7. Huni acımasızdır: milyonlarca aday → onlarca işlem yapılabilir avantaj

Ölçek fırsat yaratır: ne kadar çok test ederseniz o kadar çok gerçek avantaj bulursunuz. Ama ölçek tehlike de yaratır: ne kadar çok test ederseniz gürültü de o kadar çok sinyale benzer. Verimli keşfi rastgele veri madenciliğinden ayıran şey, titiz bir istatistiksel hijyendir.