TARGETHIT!

Diğer

Topluluk

Tema

Dil

Algoritmik işlem okulu/Temeller/Overfitting tuzağı: backtest size yalan söylediğinde
Temeller10 dk okuma

Overfitting tuzağı: backtest size yalan söylediğinde

Karmaşık stratejiler neden çöker, basit olanlar neden ayakta kalır?

Overfitting tuzağı: backtest size yalan söylediğinde

Stratejinizin 47 parametresi ve backtest (geçmiş veride test) sonuçlarında %95 kazanma oranı var. Tebrikler: yalnızca geriye doğru çalışan bir zaman makinesi yaptınız.

Bunun adı overfitting (aşırı uyum): işlem stratejilerinin sessiz katili. Kaldıraç, FOMO ve kötü risk yönetiminin toplamından daha fazla hesabın patlamasına yol açar. İşin en kötü yanı ne mi? Backtest'iniz ne kadar iyi görünüyorsa tuzağa düşmüş olma ihtimaliniz o kadar yüksektir.

Bu derste overfitting'in tam olarak ne olduğunu, beyninizin neden overfit stratejiler üretmeye yatkın olduğunu ve canlı piyasayla karşılaştığında gerçekten ayakta kalan avantajları (edge) nasıl kuracağınızı adım adım inceleyeceğiz.


Overfitting nedir?

Overfitting, stratejinizin geçmiş verideki sinyal yerine gürültüyü öğrenmesiyle ortaya çıkar.

Şöyle düşünün: yarının hava durumunu tahmin etmeye çalıştığınızı hayal edin. Basit bir model kurabilirsiniz: “Bugün hava bulutluysa yarın %70 ihtimalle yağmur yağar.” Bu model gerçek bir ilişkiyi yakalar.

Ya da karmaşık bir model kurabilirsiniz: “Salı günü hava bulutluysa, nem %67-73 arasındaysa, geçen hafta dolunay olduysa ve yerel haber spikeri mavi kravat taktıysa yağmur yağar.” Bu model, geçmiş verinizdeki her yağmurlu günü kusursuz şekilde tahmin edebilir. Ama yarın için hiçbir işe yaramaz.

Karmaşık model geçmişten öğrenmek yerine geçmişi ezberlemiştir.

Trading'de bu şöyle görünür:

  • 15 farklı gösterge koşulu içeren bir strateji
  • RSI değerinin 31.5 ile 33.2 arasında olmasını şart koşan giriş kuralları (30-35 değil, tam olarak 31.5-33.2)
  • Haftanın her günü için farklı parametreler
  • Backtest'te zararla kapanan işlemleri “düzelttiği” için eklenmiş kurallar

Eklediğiniz her parametre, stratejinize geçmiş veriye uyum sağlaması için bir serbestlik derecesi daha kazandırır. Yeterince parametreyle backtest döneminizdeki her hareketi kusursuz biçimde öngören bir strateji oluşturabilirsiniz. Ama bu strateji canlı işlemde feci şekilde başarısız olur.


Overfitting neden olur: işin matematiği

Basit bir düşünce deneyi yapalım.

100 kez yazı tura attığınızı düşünün. Tamamen tesadüfen bazı diziler ortaya çıkar: belki 43. atıştan itibaren 7 kez üst üste tura gelmiştir. Belki çift numaralı atışlarda yazı ağır basmıştır.

Bu veriyi örüntü bulmak için didik didik ederseniz örüntüleri mutlaka bulursunuz. 40-50 arasındaki atışlarda tura oranının %80 olduğunu “keşfedebilirsiniz”. Bu örüntünün etrafında bir “strateji” bile kurabilirsiniz.

Ama bu örüntüler gerçek değildir. Küçük bir örneklemdeki rastlantının yan ürünleridir.

Şimdi bunu trading'e uygulayın. Elinizde 3 yıllık geçmiş veri var; kabaca 1,000 adet günlük mum. 20 parametreli bir strateji test ediyorsunuz. Her parametre diğerleriyle etkileşime giriyor. Olası kombinasyonların sayısı astronomik.

İstatistiksel olarak, bazı kombinasyonlar tamamen şans eseri mutlaka harika sonuçlar gösterecektir. Optimizasyon aracınız bu kombinasyonu bulur ve size “en iyi strateji” diye sunar. Ama bulduğunuz gerçek bir avantaj değildir; tam da bu tarihsel dönemde tesadüfen işe yaramış rastgele bir yan üründür.

Bu yüzden ne kadar çok parametre optimize ederseniz backtest'iniz o kadar az güvenilir hâle gelir.


Stratejinizin overfit olduğunu gösteren işaretler

Overfitting tuzağına düşüp düşmediğinizi nasıl anlarsınız? Şu uyarı işaretlerine dikkat edin:

1. Çok fazla koşul

Girişiniz için 3-4'ten fazla koşulun aynı anda sağlanması gerekiyorsa muhtemelen overfitting yapıyorsunuz. Gerçek avantajlar görece basittir. Piyasalar gürültülüdür; backtest'te işe yarayan karmaşık kurallar canlı işlemin gürültüsünden nadiren sağ çıkar.

2. Şüphe uyandıracak kadar spesifik parametreler

30'un altındaki RSI makul bir eşiktir. 31.7'nin altındaki RSI ise şüphelidir. Parametreleriniz hassas bir ince ayarla belirlenmiş gibi görünüyorsa (ki öyledir), stratejiniz overfit olmuş demektir.

3. Harika backtest, berbat forward test

Bu klasik işarettir. Stratejiniz 3 yıllık backtest verisinde %80 kazanma oranı gösteriyor. Demo işleme başlıyorsunuz ve oran hemen %45'e düşüyor. Backtest gelecekteki performansı öngörmüyordu; geçmiş performansı ezberliyordu.

4. Aralığın kenarlarında performans bir anda çöker

Stratejiniz yalnızca çok dar bir aralıktaki parametrelerle çalışıyorsa kırılgandır. Sağlam stratejiler, birbirine yakın parametrelerden oluşan bir aralığın tamamında çalışır. RSI 30 işe yarıyor ama hem RSI 29 hem de RSI 31 başarısız oluyorsa bir sorun var demektir.

5. Zararla kapanan işlemleri “düzeltmek” için kural eklediniz

Backtest'te zararla kapanan bir işlem görüp ondan kaçınmak için her filtre eklediğinizde overfitting yapıyorsunuz. Stratejinize gelecekteki zararlardan değil, geçmiştekilerden kaçınmayı öğretiyorsunuz. Zararla kapanan o işlemler bir daha asla birebir aynı şekilde yaşanmayacak.


Yanlılık-varyans ödünleşimi

Makine öğrenmesinde yanlılık-varyans ödünleşimi (bias-variance tradeoff) adı verilen temel bir kavram vardır. Doğrudan işlem stratejileri için de geçerlidir.

Yanlılık (bias), aşırı basitleştirilmiş varsayımlardan kaynaklanan hatadır. Yüksek yanlılığa sahip bir strateji şöyle olabilir: “her zaman al.” Basittir ama piyasadaki gerçek örüntüleri kaçırır.

Varyans, küçük dalgalanmalara karşı aşırı duyarlılıktan kaynaklanan hatadır. Yüksek varyanslı bir stratejinin o kadar çok parametresi vardır ki sinyale değil, gürültüye uyum sağlar.

Amaç, ideal noktayı bulmaktır:

  • Fazla basit (yüksek yanlılık): Strateji gerçek avantajları kaçırır
  • Fazla karmaşık (yüksek varyans): Strateji gürültüye uyum sağlar, yeni veride başarısız olur
  • Tam kıvamında: Strateji gürültüyü göz ardı ederken gerçek örüntüleri yakalar

Pratikte bu şu anlama gelir:

  • Gereken en az sayıda parametreyi kullanın
  • Karmaşık ve hassas kurallar yerine basit ve sağlam kuralları tercih edin
  • Stratejinizin bir parametre değerleri aralığı boyunca çalıştığını test edin
  • Optimizasyon aracınızın hiç görmediği veriler üzerinde doğrulama yapın

TargetHit'te overfitting'den nasıl kaçınıyoruz?

Canlı işlemde ayakta kalan avantajlar kurmak için kullandığımız teknikleri tek tek göstereyim.

1. Eğitim/test ayrımı yeterli değil

Trader'ların çoğu veriyi eğitim ve test dönemlerine ayırmayı bilir. 2020-2022 verisiyle eğitin, 2023 verisiyle test edin. İkisinde de çalışıyorsa devreye alın.

Bu hiç yoktan iyidir ama yeterli değildir. Neden? Çünkü test sonuçlarına bakar, sonra geri dönüp ince ayar yaparsınız. Test kümesinde açıkça optimizasyon yapmasanız bile bu bilgiyi örtük olarak kullanıyorsunuz.

Gerçek doğrulama, nihai değerlendirmeye kadar hiç bakmadığınız veriler gerektirir. Biz buna “holdout” (ayrılmış) küme diyoruz. Eğitin, doğrulayın, ardından holdout kümesinde yalnızca bir kez test edin ve sonuçları kabul edin; geri dönüş yok.

2. Walk forward doğrulaması

Tek bir eğitim/test ayrımı yerine kayan pencereler kullanıyoruz:

  • 1-12. aylarda eğitin, 13. ayda test edin
  • 2-13. aylarda eğitin, 14. ayda test edin
  • 3-14. aylarda eğitin, 15. ayda test edin
  • Bu şekilde devam edin...

Bu yöntem, stratejiyle canlı işlem yapsaydınız ve onu yeni verilerle düzenli aralıklarla yeniden optimize etseydiniz nasıl bir performans elde edeceğinizi taklit eder. Tek bir ayrımdan çok daha gerçekçi bir testtir.

3. Parametre kararlılığı testi

Yalnızca optimal parametreleri test etmeyiz. Onların çevresindeki bir aralığı da test ederiz.

En iyi RSI eşiğimiz 30 ise 25, 27, 32 ve 35'i de test ederiz. Performans dar bir aralığın dışında bir anda çöküyorsa avantaj muhtemelen gerçek değildir. Kademeli olarak zayıflıyorsa daha fazla güven duyarız.

4. Birden fazla piyasa rejimi

Yalnızca boğa piyasasında işe yarayan bir avantaj, avantaj değildir; boğa piyasasına girilmiş bir bahistir. Stratejileri şu koşulların hepsinde test ederiz:

  • Boğa piyasaları
  • Ayı piyasaları
  • Yatay/bant içinde seyreden piyasalar
  • Yüksek volatilite rejimleri
  • Düşük volatilite rejimleri

Sağlam bir avantaj, büyüklüğü değişse bile tüm rejimlerde pozitif beklenti gösterir.

5. Minimum örneklem büyüklüğü

Herhangi bir backtest'i ciddiye almadan önce en az 100 işlem şartı koyarız. Yüksek güven için 500+ işlem isteriz. Daha az işlemde istatistiksel tesadüfler baskın çıkar.

20 işlemde %75 kazanma oranı anlamsızdır. 1,000 işlemde %55 kazanma oranı değerlidir.


Sadelik ilkesi

Sezgilere ters gelen bir gerçek: canlı işlemde basit stratejiler karmaşık olanları neredeyse her zaman yener.

Neden? Çünkü sadelik sağlamdır. 2 koşullu bir strateji, piyasanın mikro yapısı biraz değiştiğinde bile çalışmaya devam edebilir. 20 koşullu bir strateji ise o spesifik örüntülerden herhangi biri ortaya çıkmayı bıraktığında bozulur.

Piyasa size karşı oynar. Evrilir. Diğer trader'lar uyum sağlar. Örüntüler arbitrajla ortadan kalkar. Avantajınız ne kadar basitse piyasanın onu bozması o kadar zordur.

Bu yüzden TargetHit'te karmaşıklığı bilinçli olarak sınırlıyoruz:

  • Avantaj başına en fazla 3-4 gösterge
  • Eşikler yuvarlak sayılar ya da standart sapmalar olmalı (31.7 gibi değerler yok)
  • Kurallar ekonomik bir sezgiye dayanmalı (NEDEN işe yaraması gerektiğini açıklayabilmeliyiz)
  • Eklenen her parametre, örneklem dışı performansı anlamlı ölçüde iyileştirerek varlığını haklı çıkarmalı

Gerçek avantajlar neye benzer?

Overfitting'i ayıkladıktan sonra geriye ne kalır?

Gerçek avantajlar genellikle şöyledir:

Basit: “Fonlama oranı (funding rate) aşırı negatifken ve toplam açık pozisyon (open interest, OI) düşerken ortalamaya dönüş olasıdır.” Şu değil: “Salı günleri kırmızı bir mumun ardından fonlama -%0,023 ile -%0,019 arasındayken...”

Sezgisel: Mekanizmayı açıklayabilirsiniz. Aşırı negatif fonlama, Short'ların Long'lara ödeme yaptığı anlamına gelir; Short tarafı kalabalıktır. Kalabalık işlemler eninde sonunda çözülür.

Sağlam: Farklı dönemlerde, biraz farklı parametrelerde ve birden fazla varlıkta çalışır. Yalnızca 2021'de BTC'de çalışıyorsa avantaj değildir.

Mütevazı: Gerçek avantajların kazanma oranı genellikle %80 değil, %52-58 civarındadır. Doğru pozisyon büyüklüğü belirlemeyle kârlı olmak için bu yeterlidir. Backtest'iniz %80 gösteriyorsa stratejiniz muhtemelen overfit olmuştur.


Yapmanız gerekenler

Bu dersten sonra yapmanız gerekenler şunlar:

  1. Mevcut stratejilerinizi denetleyin. Parametreleri sayın. 5-6'dan fazlaysa stratejileriniz muhtemelen overfit olmuştur. Sadeleştirmeyi düşünün.

  2. Parametre hassasiyetinizi kontrol edin. Eşikleriniz şüphe uyandıracak kadar spesifik mi? Onları standart seviyelere yuvarlayın ve stratejinin hâlâ çalışıp çalışmadığına bakın.

  3. Tepki olarak eklediğiniz kuralları bulun. Zararla kapanan bir işlem gördüğünüz için mi filtre eklediniz? O filtre muhtemelen overfitting'dir.

  4. Parametre kararlılığını test edin. Optimal RSI değeriniz 30 ise 25'te ve 35'te ne oluyor? Kademeli zayıflama = iyi. Uçurum = kötü.

  5. Muhteşem sonuçlara şüpheyle yaklaşın. Backtest'iniz ne kadar iyi görünüyorsa o kadar şüpheci olmalısınız. Gerçek avantajlar mütevazıdır.


Sıradaki derste

Artık stratejilerin neden başarısız olduğunu (Ders 1), avantajı stratejiden neyin ayırdığını (Ders 2) ve overfitting'in nasıl avantaj yanılsaması yarattığını (Ders 3) anlıyorsunuz.

Ders 4'te “Kripto sinyal botu kurmak için gerçekte neye ihtiyacınız var?” konusunu işleyeceğiz: sistematik bir işlem operasyonu kurmak için gereken gerçekçi altyapı, maliyetler ve beceriler. Quant trader olmaya hevesli çoğu kişi, giriştiği işin gerçek boyutunu burada fark eder.

Trader'ların çoğu bu dersi atlayıp doğrudan kod yazmaya dalar. Sonunda sistemlerini 5 kez yeniden kurmak zorunda kalırlar. Siz o trader olmayın.

Bir sonraki derste görüşmek üzere.