Overfitting nasıl önlenir? Stratejiniz geçmişi ezberlediğinde
Stratejinizin 47 parametresi ve %95 kazanma oranı varsa, tebrikler. Yalnızca geriye doğru çalışan bir zaman makinesi yaptınız.
Overfitting (aşırı uyum), bir stratejiyi geçmiş veriye curve fitting (eğri uydurma) ile o kadar hassas biçimde ayarlamaktır ki strateji sinyal yerine gürültüyü yakalar. Strateji backtest (geçmiş veride test) sonuçlarında harika görünür; ama bunun nedeni gelecekte tekrarlanacak örüntüleri öğrenmiş olması değil, geçmişi ezberlemiş olmasıdır.
Overfitting nedir?
Her piyasa veri serisi iki bileşenden oluşur: sinyal ve gürültü. Sinyal, gerçek piyasa dinamiklerini ve tekrarlanabilecek örüntüleri yansıtan kısımdır. Gürültü ise bir kez yaşanmış ve bir daha yaşanmayacak rastgele dalgalanmadır.
İyi bir işlem stratejisi gürültüyü göz ardı edip sinyali yakalar. Overfit bir strateji ise ikisini birden yakalar ve geçmişteki rastgele tuhaflıkları öngörülebilir örüntülermiş gibi ele alır.
Yağmur yağıp yağmayacağını tahmin etmeye çalıştığınızı düşünün. Son on salı günü, mavi gömleğinizi her giydiğinizde yağmur yağdığını fark ediyorsunuz. Overfit bir model, salı günleri mavi gömlek giymenin yağmura yol açtığı sonucuna varır. Sağlam bir model ise bunun bir tesadüf olduğunu anlar ve gerçek hava durumu örüntülerine odaklanır.
İşlem dünyasındaki karşılığı şöyle: Backtest'iniz, 4 saatlik grafikte RSI 23.7'yi kestiğinde alım yapmanın harika getiriler sağladığını gösteriyor. Neden 23.7? Çünkü bu sayı, geçmiş verinizdeki rastgele piyasa hareketleriyle tesadüfen örtüşmüştür. İleriye dönük hiçbir öngörü değeri yoktur.
Parametre sayısı sorunu
Overfitting'in en bariz biçimi, çok fazla parametreden kaynaklanır. Her parametre, stratejinize geçmiş veriye uymak için bir serbestlik derecesi daha verir. Yeterince parametre eklerseniz, herhangi bir veri setine kusursuz biçimde uyum sağlayabilirsiniz.
Şu iki stratejiyi ele alalım:
Strateji A: Fiyat 50 periyotluk hareketli ortalamanın üzerindeyken alım yapılır. Tek parametre (periyot uzunluğu).
Strateji B: Fiyat 50 periyotluk MA'nın üzerindeyken, RSI 35 ile 45 arasındayken, MACD histogramı pozitif ama 0.3'ün altındayken, hacim 20 periyotluk hacim ortalamasının üzerindeyken, saat 2 ile 6 UTC arasındayken ve gün pazartesi değilken alım yapılır. Onlarca parametre.
Strateji B'nin veriye uyum sağlamak için çok daha fazla alanı vardır. Yeterince koşulla, yalnızca tam olarak geçmişte işe yaramış işlemlerde tetiklenen bir strateji kurabilirsiniz. Ama bu koşullar gerçek bir piyasa avantajını (edge) değil, fiyatın tesadüfen izlediği belirli yolu tarif eder.
Kabaca bir kural olarak: Sağlam stratejilerin 2-4 temel parametresi olur. 10'dan fazla parametresi olan stratejiler neredeyse kesinlikle overfit'tir. 20+ parametreli stratejilerin overfit olduğundan ise hiç şüphe yoktur.
Örneklem içi ve örneklem dışı
Overfitting için klasik test, örneklem içi ve örneklem dışı performansı karşılaştırmaktır.
Örneklem içi veri, stratejiyi geliştirmek ve optimize etmek için kullandığınız veridir. Örneklem dışı veri ise stratejinin hiç görmediği, özellikle doğrulama için ayrılmış veridir.
Overfit bir strateji, örneklem içinde örneklem dışına kıyasla çarpıcı biçimde daha iyi performans gösterir. Örneklem içi veriyi "öğrenmiştir" ama yeni veriye genelleyemez. Sağlam bir strateji ise her iki dönemde de benzer performans gösterir, çünkü tarihsel gürültü yerine gerçek örüntüleri yakalamıştır.
Sorun şu: Örneklem dışı sonuçlarınıza bakıp gördüklerinize göre stratejinizde ince ayar yaparsanız, örneklem dışı veriniz artık örneklem içi hâline gelmiştir. Doğrulama için tamamen yeni veriye ihtiyacınız olur. Walk forward doğrulamasının var olma nedeni budur; onu bir sonraki derste ele alacağız.
Overfitting'in görsel işaretleri
Overfitting'i çoğu zaman özsermaye eğrisine bakarak gözle fark edebilirsiniz.
Overfit stratejiler backtest'lerde, çok az sayıda zararla kapanan işlemle birlikte şüphe uyandıracak kadar pürüzsüz özsermaye eğrileri gösterme eğilimindedir. Gerçek işlem stratejilerinin karmaşık dönemleri olur. Düşüş yaşarlar. Zarar serilerine girerler. Backtest'iniz istikrarlı kazançlardan başka bir şey göstermiyorsa, şüpheci olun.
Overfit stratejiler optimizasyon sırasında da çarpıcı iyileşmeler gösterir. Bir parametreyi 19'dan 20'ye değiştirmek performansta devasa bir fark yaratıyorsa, bu bir uyarı işaretidir. Sağlam stratejiler parametrelere kademeli bir duyarlılık gösterir; yakın parametre değerleri benzer sonuçlar üretir.
Yanlılık-varyans ödünleşimi
Overfitting'i anlamak, istatistikteki yanlılık-varyans ödünleşimini anlamayı gerektirir.
Yanlılık (bias), modelinizin ortalama tahmininin gerçek değerden ne kadar uzak olduğudur. Yanlı bir model sistematik olarak hata yapar.
Varyans, modelinizin tahminlerinin tam olarak hangi veriyle eğitildiğine bağlı olarak ne kadar değiştiğidir. Yüksek varyanslı bir model, farklı veri setlerinde birbirinden çok farklı sonuçlar üretir.
Overfitting, yüksek varyans demektir. Model, geçmiş verinizin kendine özgü tuhaflıklarına o kadar sıkı uyar ki farklı bir tarihsel dönemde bambaşka sonuçlar üretirdi.
Amaç ideal noktayı bulmaktır: gerçek örüntüleri yakalayacak kadar karmaşıklık (düşük yanlılık), ama gürültüye uyum sağlayacak kadar fazlası değil (düşük varyans). Az parametreli basit stratejiler daha yüksek yanlılığa ama daha düşük varyansa sahip olma eğilimindedir. Bazı gerçek örüntüleri kaçırabilirler; ama gelecekte işe yarama olasılıkları daha yüksektir.
Overfitting'e karşı pratik önlemler
Uygulamada overfitting'i önlemeye yardımcı olan birkaç teknik vardır.
Daha az parametre kullanın. Şüpheye düştüğünüzde sadeleştirin. %55 kazanma oranı yakalayan 3 parametreli bir strateji, backtest'te %75 kazanma oranı gösteren 30 parametreli bir stratejiden daha değerlidir.
Optimizasyonunuzu düzenlileştirin (regularization). Yalnızca backtest kârını maksimize eden parametreleri bulmakla yetinmeyin. İstikrarı da göz önünde bulundurun. Parametre değeri 18 ve 20'de harika sonuçlar, 19'da ise kötü sonuçlar çıkıyorsa, bir şeyler yanlıştır.
İstatistiksel anlamlılık şartı koyun. 50 işleme dayanan bir stratejiye güvenmeyin. Bir avantajın var olduğu sonucuna varmadan önce yüzlerce ya da binlerce örnek isteyin. Rastgele şans, kısa vadede etkileyici sonuçlar üretebilir.
Birden fazla dönemde test edin. 2020, 2021, 2022, 2023 ve 2024'te işe yarayan bir strateji, yalnızca 2023'te işe yarayan bir stratejiden daha güvenilirdir.
Farklı piyasa koşullarında test edin. Stratejiniz boğa, ayı ve yatay piyasalarda işe yarıyor mu? Yoksa yalnızca tek bir piyasa rejiminde mi? Belirli bir rejime özgü stratejiler kötü olmak zorunda değildir, ama sınırlarını bilmeniz gerekir.
Temel çıkarımlar
Overfitting, stratejileri geçmiş veriye fazla hassas biçimde ayarlayarak sinyal yerine gürültüyü yakalar. Daha fazla parametre, daha fazla overfitting riski demektir, çünkü her parametre rastgele tuhaflıklara uyum sağlamak için bir serbestlik derecesi daha sunar. Overfitting'i tespit etmek için örneklem içi ve örneklem dışı performansı karşılaştırın. Şüphe uyandıracak kadar pürüzsüz özsermaye eğrileri ve aşırı parametre duyarlılığı görsel uyarı işaretleridir. Az parametreli, daha basit stratejileri tercih edin ve doğrulama için yeterince büyük bir örneklem büyüklüğü şart koşun.
Bir sonraki derste, hobi backtest'lerini kurumsal düzeydeki testlerden ayıran teknik olan walk forward doğrulamasını inceleyeceğiz.