TARGETHIT!

Diğer

Topluluk

Tema

Dil

Algoritmik işlem okulu/Doğrulama/Look ahead bias nedir? Backtest'lerin sessiz katili
Doğrulama12 dk okuma

Look ahead bias nedir? Backtest'lerin sessiz katili

Geçmişi tahmin etmek için yanlışlıkla gelecekteki veriyi kullanmak

Look ahead bias nedir? Backtest'lerin sessiz katili

Geçmişi tahmin etmek için yanlışlıkla gelecekteki veriyi kullanıyor olabilirsiniz. Üstelik büyük ihtimalle bunun farkında bile değilsiniz.

Look ahead bias (geleceğe bakma yanlılığı), nicel işlemdeki en tehlikeli hatadır, çünkü görünmezdir. Kodunuz hatasız çalışır, backtest (geçmiş veride test) sonuç üretir, her şey yolunda görünür. Ama strateji, gerçek zamanlı olarak elde edilemeyecek bir bilgiyi kullanmaktadır ve bu da backtest sonuçlarını tamamen anlamsız kılar.

Look ahead bias nedir?

Look ahead bias, backtest sisteminiz geçmişteki kararları vermek için gelecekten gelen veriyi kullandığında ortaya çıkar. Kulağa yakalaması kolay, bariz bir hata gibi gelir; ama deneyimli quant'ların bile gözden kaçırdığı incelikli biçimlerde karşınıza çıkar.

Basit bir stratejiyi backtest ettiğinizi düşünün: 20 periyotluk hareketli ortalama 50 periyotluk hareketli ortalamayı yukarı kestiğinde alım yapılır. 100. barda, 20 periyotluk MA'nın 50 periyotluk MA'nın üzerinde olup olmadığını kontrol edersiniz. Üzerindeyse alım yaparsınız.

Buraya kadar basit. Peki kodunuz bu hareketli ortalamaları hesaplarken 20 periyotluk MA için 81-100 arasındaki barları kullandıysa? Bu doğru. Ya 50 periyotluk MA için 51-100 arasındaki barları kullandıysa? Bu da doğru.

Peki ya kodunuz, 100. bar henüz kapanmadan güncel fiyatı 100. barın kapanış fiyatı olarak hesapladıysa? İşte şimdi gelecekten gelen bir bilgiyi kullandınız. Gerçek hayatta kararı vereceğiniz anda 100. barın kapanış fiyatını bilemezdiniz.

Bu önemsiz bir ayrıntı gibi görünür ama sahte kârlar yaratır. Strateji, aslında öngöremeyeceği hareketleri öngörüyormuş gibi görünür.

Look ahead bias'ın yaygın kaynakları

En yaygın kaynaklar teknik ve sıradandır; onları bu kadar tehlikeli yapan da tam olarak budur.

Point-in-time veri hizalaması, birden fazla zaman dilimini birleştirirken çetrefilli bir iştir. 1 dakikalık fiyat verisiyle birlikte 4 saatlik fonlama oranlarını (funding rate) kullanıyorsanız, her 1 dakikalık barın yalnızca o anda bilinen fonlama oranını gördüğünden emin olmanız gerekir. 04:00 UTC'de güncellenen fonlama oranı, bazı tanımlara göre ikisi de aynı 4 saatlik dönemin içinde kalsa bile, 03:30 UTC'de verilen kararları etkilememelidir.

Gösterge hesaplamaları dikkatle uygulanmazsa yanlılık yaratabilir. Bazı göstergeler tasarımları gereği ileriye bakar ve hesaplamalarında gelecekteki veriyi kullanır. Diğerleri ise kodlanma biçimleri yüzünden gelecekteki veriyi kazara kullanır. Penceresi yanlış hizalanmış kayan (rolling) hesaplamalar, en sık rastlanan suçlulardandır.

Özellik mühendisliği (feature engineering) özellikle tehlikelidir. "Sonraki bir saatteki yüzde değişim" gibi özellikler oluşturursanız, gelecekteki veriyi kullandığınız açıktır. Peki ya "günün fiyat aralığına göre normalize edilmiş yüzde değişim"? "Günün aralığı", işlem kararınızdan sonra oluşan en yüksek ve en düşük fiyatları içeriyorsa, sisteme look ahead sızdırmışsınız demektir.

Olay bazlı veriler, örneğin bilanço açıklamaları, likidasyon olayları ya da büyük transferler, bilginin erişilebilir hâle geldiği anla örtüşmeyen zaman damgaları taşıyabilir. Bir borsa bir likidasyon olayını geriye dönük bir tarihle kaydedebilir; bu durumda olay, piyasa katılımcılarının ondan haberdar olabileceği andan önce verinizde görünür.

Gerçek bir örnek: ICS_26 kirlenmesi

Kendi sistemimizde keşfettiğimiz bir look ahead bias'ı paylaşmaya değer buluyoruz, çünkü bu hataların ne kadar sinsi olabileceğini çok iyi gösteriyor.

ICS_26 adında, bir altcoin ile Bitcoin arasındaki örtük korelasyonu ölçen bir göstergemiz vardı. Hesaplamanın amacı, coinin hareketlerinin belirli bir geriye dönük pencere boyunca Bitcoin'le ne kadar korele olduğunu yakalamaktı.

Hata şuydu: Korelasyon hesaplaması, farkında olmadan gelecekteki Bitcoin getirilerini kullanıyordu. Altcoinin güncel getirisini, Bitcoin'in geleceğe uzanan bir penceredeki getirisiyle karşılaştırıyordu. Korelasyon sinyali, henüz elde edilemeyecek Bitcoin verisiyle hesaplandığı için Bitcoin'in yönünü fiilen tahmin ediyordu.

ICS_26'yı kullanan her strateji yapay olarak yüksek performans gösterdi. Keşfettiğimiz 1,747 avantajın (edge) 785'i bu tek gösterge yüzünden kirlenmişti. Hepsini çöpe atmak zorunda kaldık.

Bu bir acemi hatası değildi. Kod doğru görünüyordu. Sonuçlar makul görünüyordu. Sorunu bulmak titiz bir denetim gerektirdi. Yakalamasaydık, backtest'lerde kusursuz çalışan ama canlı işlemde tamamen çöken stratejileri devreye almış olacaktık.

Look ahead bias nasıl tespit edilir?

Look ahead bias'ı tespit etmek, birden fazla katmanda sistematik kontrol gerektirir.

Data pipeline'ınızı (veri hattınızı) denetleyin. Stratejinizin kullandığı her veri parçası için şunu sorun: Bu bilgi ne zaman erişilebilir hâle geldi? Backtest motorunuzun her karar anında yalnızca o anda erişilebilir olacak veriyi kullandığından emin olun. Birden fazla veri kaynağıyla çalışırken bu, kulağa geldiğinden daha zordur.

İşlemlerinizi karıştırın. İşlemlerin sırasını rastgele değiştirdiğinizde stratejinin performansı neredeyse hiç değişmiyorsa, bu iyiye işarettir. Sırayı rastgele değiştirmek sonuçları çarpıcı biçimde değiştiriyorsa, zamana bağlı bir veri sızıntınız olabilir.

Walk forward'ı durmaksızın uygulayın. Walk forward doğrulaması, look ahead bias için en iyi pratik testtir. Bir strateji örneklem içinde sürekli güçlü, örneklem dışında ise sürekli zayıf sonuçlar veriyorsa, look ahead bias muhtemel bir suçludur. Walk forward doğrulamasını ilerleyen bir derste ayrıntılı olarak ele alacağız.

Canlı işleme geçmeden önce demo işlem yapın. Gerçek sermayeyi riske atmadan önce stratejinizi demo bakiyeyle, gerçek zamanlı olarak çalıştırın. Demo işlem sonuçlarınız backtest sonuçlarından çarpıcı biçimde kötüyse, bir şeyler yanlış demektir. Baş şüpheli look ahead bias'tır.

Look ahead bias nasıl önlenir?

Önlemek, tespit etmekten iyidir. Backtest sisteminizi, look ahead bias'ı zorlaştıracak şekilde kurgulayın.

Zihninizde zamanda yolculuk yapın. Backtest'inizdeki her barda, zamanda geriye, tam o ana gittiğinizi varsayın. Yalnızca o anda bilinebilecek olanı bilebilirsiniz. Gelecekteki fiyatlar yoktur. Gelecekteki gösterge değerleri yoktur. Sonradan gelen veri yoktur.

Point-in-time veritabanları kullanın. Veriyi yalnızca olayın gerçekleştiği anla değil, verinin erişilebilir hâle geldiği anın zaman damgasıyla saklayın. Bu, sonradan revize edilen ya da geriye dönük olarak tamamlanan veriler için özellikle önemlidir.

Hesaplamayı karardan ayırın. N. bar için tüm gösterge değerlerini yalnızca N. bar ve öncesindeki barların verisiyle hesaplayın. Ardından işlem kararınızı verin. Asla ileriye göz atmayın.

Altyapınızı test edin. Doğru cevabı bildiğiniz basit senaryolar oluşturun ve backtest motorunuzun doğru sonuca ulaştığını doğrulayın. Bilinen look ahead hatalarını bilerek sisteme yerleştirin ve doğrulama sürecinizin bunları yakaladığını teyit edin.

Temel çıkarımlar

Look ahead bias, geçmiş kararları vermek için gelecekteki veriyi kullanır ve sahte backtest kârları yaratır. Görünmezdir ve yaygındır; veri hizalamasında, gösterge hesaplamalarında ve özellik mühendisliğinde karşınıza çıkar. Kendi ICS_26 göstergemizde, 785 avantajı kirleten bir look ahead bias yakaladık. Tespit için sistematik denetim, walk forward doğrulaması ve demo işlem gerekir. Önlemek içinse backtest'leri, yalnızca geçmiş bilginin var olduğu bir zaman yolculuğu gibi ele almak gerekir.

Bir sonraki derste, en az bunun kadar tehlikeli bir uygulamayı inceleyeceğiz: overfitting (aşırı uyum), yani stratejinizi tarihsel gürültüye curve fitting (eğri uydurma) ile uydurmak.