TARGETHIT!

Diğer

Topluluk

Tema

Dil

Algoritmik işlem okulu/Doğrulama/Walk forward analizi: stratejiyi görmediği veride test etmek
Doğrulama12 dk okuma

Walk forward analizi: stratejiyi görmediği veride test etmek

Hobi backtest'lerini kurumsal testlerden ayıran teknik

Walk forward analizi: stratejiyi görmediği veride test etmek

Bu, hobi amaçlı backtest (geçmiş veride test) çalışmalarını kurumsal düzeydeki doğrulamadan ayıran tekniktir.

Basit bir eğitim/test ayrımı sizi kandırabilir. Eğitim verisinde optimizasyon yapar, test verisinde test eder ve sonuçlar iyi görünürse zafer ilan edersiniz. Ama o tek test dönemi sadece şanslı bir dönem olabilir. Walk forward doğrulaması stratejinizi birçok farklı dönemde test eder ve avantajın (edge) gerçek olduğuna çok daha fazla güvenmenizi sağlar.

Walk forward doğrulaması nedir?

Walk forward doğrulaması, zaman içinde bir işlem stratejisi geliştirip devreye aldığınızda gerçekte yaşanan süreci simüle eder.

Süreç şöyle işler: Geçmiş verinizi alır ve bölümlere ayırırsınız. İlk bölümde strateji parametrelerinizi eğitim kısmında optimize eder, ardından hemen sonraki dönemde test edersiniz. Sonuçları kaydedin. Sonra zamanda ileri gidin, yeni eğitim verisiyle yeniden optimize edin ve bir sonraki dönemde test edin. Tüm verinizi adım adım katedene kadar bunu tekrarlayın.

İşin püf noktası şu: Optimizasyonu etkileyen veri üzerinde asla test yapmazsınız. Her test dönemi, o parametreleri üreten eğitime göre gerçekten örneklem dışıdır.

Bu, gerçekliği taklit eder. Canlı işlemde stratejinizi geçmiş veride geliştirir ve devreye alırsınız; strateji de gerçekten bilinmeyen gelecek verisiyle yüz yüze gelir. Walk forward doğrulaması bu süreci geçmiş veri setiniz boyunca defalarca tekrarlar.

Eğitim/test ayrımı neden yetmez?

Tek bir eğitim/test ayrımının temel bir sorunu vardır: Test döneminizin temsil edici olup olmadığını hiç bilemezsiniz.

Belki test döneminiz tesadüfen stratejiniz için özellikle elverişli bir piyasa rejimine denk geldi. Belki de rastgele şans birkaç fazladan kazançlı işlem üretti. Örneklem dışı performans hakkında tam olarak tek bir veri noktanız var ve bu, stratejinin gelecekte işe yarayıp yaramayacağı hakkında size neredeyse hiçbir şey söylemez.

Walk forward doğrulaması size çok sayıda veri noktası verir. Stratejiniz, her biri kendi optimizasyonunun ardından gelen 10 ya da 20 farklı test döneminde iyi performans gösteriyorsa, avantajın gerçek olduğuna dair çok daha güçlü bir kanıtınız vardır.

Dahası, tek bir ayrım parametre sapmasını hesaba katmaz. Piyasalar evrildikçe optimal parametreler zamanla değişebilir. Walk forward doğrulaması periyodik olarak yeniden optimize etmenize olanak tanır; bu da stratejiyi canlı işlemde gerçekte nasıl yöneteceğinizi daha iyi yansıtır.

Kayan pencere yaklaşımı

En yaygın walk forward uygulaması kayan pencereler kullanır.

Eğitim penceresinin uzunluğunu belirleyin; örneğin 12 aylık veri. Test penceresinin uzunluğunu belirleyin; örneğin 3 ay. Adım büyüklüğünü, yani her iterasyon arasında ne kadar ileri gidileceğini belirleyin.

Verinizin başından başlayarak: 1-12. aylarla eğitin, 13-15. aylarda test edin. Ardından 4-15. aylarla eğitin (3 ay kaydırılmış), 16-18. aylarda test edin. Veriniz bitene kadar devam edin.

Her iterasyon, yalnızca önceki veride optimize edilmiş parametrelerle test penceresi boyunca yapılan bir dizi işlem üretir. Walk forward performansınızı elde etmek için tüm bu test dönemi işlemlerini bir araya getirin.

Bir varyasyon da sabit başlangıçlı (anchored) walk forward'dır: Eğitim penceresi zamanla büyür ama her zaman verinin başından başlar. 1-12. aylarla eğitin, 13-15. aylarda test edin. Sonra 1-15. aylarla eğitin, 16-18. aylarda test edin. Böylece her optimizasyona mevcut geçmişin tamamı dahil edilir.

Nasıl uygulanır?

Walk forward doğrulamasını uygulamak, backtest'e bakışınızı yeniden yapılandırmayı gerektirir.

İlk olarak, optimizasyon mantığınızı test mantığınızdan ayırın. Herhangi bir tarih aralığında bir optimizasyon aracını çalıştırıp optimal parametreler üretebilmeli, ardından bu sabit parametrelerle başka herhangi bir tarih aralığında backtest çalıştırabilmelisiniz.

İkinci olarak, zaman içinde ilerleyen bir döngü kurun. Her adımda optimizasyon aracını eğitim penceresinde çalıştırın, parametreleri kaydedin, ardından bu parametrelerle test penceresinde backtest'i çalıştırın. Sonuçları saklayın.

Üçüncü olarak, tüm test pencerelerindeki sonuçları birleştirin. Bu size gerçek walk forward performansını, yani tüm örneklem dışı dönemlerin toplamını verir.

Hesaplama maliyeti ciddidir. 100 parametre kombinasyonunuz varsa ve 20 walk forward iterasyonu çalıştırıyorsanız, 2,000 optimizasyona ek olarak 20 test çalıştırıyorsunuz demektir. Ciddi nicel işlem ekiplerinin hesaplama altyapısına sahip olmasının nedeni budur.

Walk forward sonuçlarını yorumlamak

Walk forward sonuçları size birkaç önemli şey söyler.

Genel walk forward performansı birincil metriktir. Strateji, bir araya getirilmiş tüm test pencerelerinde kârlıysa, elinizde gerçek bir avantajın kanıtı var demektir. Kârsızsa, avantaj büyük olasılıkla belirli tarihsel dönemlere overfit olmuş, yani aşırı uyum sağlamıştır.

Pencereler arası tutarlılık, neredeyse toplam performans kadar önemlidir. 20 pencerenin 15'inde güçlü sonuçlar veren bir strateji, 5 pencerede inanılmaz sonuçlar verip kalan 15'inde zarar eden bir stratejiden daha sağlamdır.

Parametre istikrarı overfitting riskini ortaya koyar. Optimal parametreler bir eğitim penceresinden diğerine çılgınca değişiyorsa, strateji büyük olasılıkla gürültüye uyum sağlıyordur. Sağlam stratejiler zaman içinde görece istikrarlı optimal parametreler gösterir.

Zaman içindeki bozulma bir uyarı işaretidir. Strateji önceki pencerelerde iyi ama son pencerelerde kötü performans gösterdiyse, piyasa koşulları avantajı geçersiz kılacak şekilde değişmiş olabilir.

Bizim walk forward sürecimiz

TargetHit'te her avantaj, devreye alınmadan önce walk forward doğrulamasından geçer.

Yaklaşık 1,100 günlük geçmiş veriyle kayan pencere yaklaşımını kullanıyoruz. Her avantaj eğitim kısmında optimize ediliyor, ardından sonraki veride test ediliyor. Yalnızca iyi toplam sonuçlar değil, walk forward pencereleri boyunca tutarlı performans şart koşuyoruz.

Walk forward kazanma oranı, birincil doğrulama metriğimizdir. Bir avantaj örneklem içinde %90 kazanma oranı gösterebilir; ama walk forward doğrulaması %65 gösteriyorsa, canlı işlem beklentimiz olarak %65'i kullanırız. Walk forward rakamı gerçeğe daha yakındır.

Walk forward doğrulamasını geçen avantajlar yine de ek testlerden geçer; ama walk forward ilk büyük filtredir. Keşfedilen avantajların çoğu bu aşamada elenir.

Temel çıkarımlar

Walk forward doğrulaması, stratejileri kayan eğitim pencerelerinde optimize edip sonraki veride test ederek birden fazla örneklem dışı dönemde sınar. Tek bir eğitim/test ayrımı yetersizdir, çünkü test döneminizin temsil edici olup olmadığını bilemezsiniz. Walk forward'ı optimize eden, test eden ve tekrar tekrar ileri adım atan bir döngü olarak uygulayın. Toplam performansı, pencereler arası tutarlılığı, parametre istikrarını ve performansın zamanla bozulup bozulmadığını değerlendirin. Walk forward sonuçları, canlı performansa örneklem içi backtest'lerden daha yakındır.

Bir sonraki derste örneklem büyüklüğü sorusunu ele alacağız: Bir stratejiye güvenebilmek için gerçekte kaç işleme ihtiyacınız var?