TARGETHIT!

Diğer

Topluluk

Tema

Dil

Algoritmik işlem okulu/Doğrulama/Backtest'ler neden sık sık yanıltır?
Doğrulama10 dk okuma

Backtest'ler neden sık sık yanıltır?

Backtest fantezisi ile canlı işlem gerçeği arasındaki uçurum

Backtest'ler neden sık sık yanıltır?

Backtest (geçmiş veride test) sonuçlarınız yıllık %200 getiri gösteriyordu. Özsermaye eğrisi göz alıcıydı; yol boyunca yalnızca ufak geri çekilmelerle istikrarlı biçimde tırmanıyordu. Emin olmak için rakamları tam üç kez kontrol ettiniz. Kazanma oranı %73, kâr faktörü 2.8, maksimum düşüş ise gayet rahat bir %12'ydi.

Canlıya geçmeye hazırsınız. Hesaba para yatırıyor, düğmeye basıyor ve izlemeye koyuluyorsunuz.

İki hafta sonra %18 zarardasınız. Teoride durdurulamaz görünen strateji, gerçekte kan kaybediyor. Ne ters gitti?

Backtest'lerde iyi görünen stratejilerin mezarlığına hoş geldiniz.

Fantezi ile gerçeklik arasındaki uçurum

Her trader bu dersi er ya da geç, çoğu zaman da bedelini ağır ödeyerek öğrenir. Backtest'ler her şeyin plana göre işlediği bir fantezi dünyasında çalışır. Canlı işlem ise gerçek dünyanın bütün karmaşası içinde yapılır.

Backtest'te emirleriniz, tam belirttiğiniz fiyattan anında gerçekleşir. Gerçekte ise kayma (slippage) vardır. Fiyat, işlem yapmaya karar verdiğiniz an ile emrinizin fiilen gerçekleşme anı arasında hareket eder. Likit coinlerde işlem yapan küçük hesaplar için bu etki ihmal edilebilir düzeyde olabilir. Daha büyük pozisyonlarda ya da likiditesi düşük piyasalarda ise bu küçük kesintiler birike birike hesabınızı eritir.

Backtest'te sinyaliniz geldiği anda her zaman girip çıkabilirsiniz. Gerçekte ise bazen borsa çöker. Bazen internet bağlantınız kopar. Bazen de fiyat, zarar durdur (stop loss) seviyenizi gap ile atlar ve planladığınızdan çok daha kötü bir fiyattan çıkarsınız.

Backtest'te olan biten her şey hakkında kusursuz bilgiye sahipsiniz. Gerçekte ise veri akışınız gecikebilir, göstergeleriniz gerçek zamanlı veriyle farklı hesaplanabilir ve onayları beklediğiniz anda alamayabilirsiniz.

Bunlar küçük sorunlar gibi görünür ama birbirinin üzerine eklenerek büyür. Backtest'lerde %73 kazanma oranı gösteren bir strateji, canlı işlemde %58 verebilir. 2.8 olan kâr faktörü 1.4'e iner. O güzelim özsermaye eğrisi giderek çok daha çirkin görünmeye başlar.

Backtest'lerin yaygın yalanları

Çoğu backtest öngörülebilir biçimlerde yalan söyler. Bu kalıpları tanımak, sorunları size para kaybettirmeden önce fark etmenize yardımcı olur.

Overfitting (aşırı uyum) en büyük suçludur. Backtest geçmiş veride harika görünene kadar parametrelerle oynarsınız; ama bu parametreler yalnızca o belirli tarihsel dönemde işe yaramıştır. İleride işe yaramazlar, çünkü gerçek bir avantaj (edge) keşfetmek yerine stratejiyi geçmişe uydurmuşsunuzdur. Bu konuyu kursun ilerleyen bölümlerinde derinlemesine ele alacağız.

Look ahead bias (geleceğe bakma yanlılığı), backtest'inizin işlem anında henüz elde edilemeyecek bir bilgiyi farkında olmadan kullanması demektir. Belki gösterge hesaplamanız istemeden gelecekteki veriye göz attı. Belki zaman dilimlerini yanlış hizaladınız. Bu hatayı kısa süre önce, korelasyon hesaplamasında gelecekteki Bitcoin getirilerini kullanan kendi göstergelerimizden birinde keşfettik. Backtest harika görünüyordu; ama tamamen sahteydi.

Hayatta kalma yanlılığı (survivorship bias), sıfıra giden yüzlerce coini görmezden gelip yalnızca bugün hâlâ var olan coinlerde test yapmanız demektir. Stratejiniz FTT, LUNA ve UST'de işlem yapmış olabilir; hepsi ortadan kaybolana kadar harika işlem araçları gibi görünüyordu.

İşlem maliyetleri çoğu zaman olduğundan düşük tahmin edilir ya da tamamen göz ardı edilir. Günde 50 işlem yapıyorsanız, %0,04 ile %0,1 işlem ücreti arasındaki fark birikerek gerçek paraya dönüşür.

Neden yalnızca test değil, doğrulama gerekir?

Backtest doğrulama değildir. Backtest, bir stratejinin elinizdeki veride nasıl performans gösterdiğini söyler. Doğrulama ise stratejinin gelecekte de işe yarama ihtimalinin yüksek olup olmadığını söyler.

Bu ayrım hayati önemdedir. Geçmiş veride iyi görünen bir stratejiyi herkes kurabilir. Giriş ve çıkış kurallarını dart tahtasına ok atarak seçebilir, ardından backtest kârlı görünene kadar parametreleri optimize edebilirsiniz. Zor değildir. Gelecekteki performansı öngörmek açısından da tamamen değersizdir.

Gerçek doğrulama, bu yalanları yakalamak için özel olarak tasarlanmış teknikler gerektirir. Walk forward analizi, örneklem dışı test, Monte Carlo simülasyonları ve istatistiksel anlamlılık testlerinin her biri bu süreçte rol oynar. Bu seviyede ilerledikçe her birini ayrıntılı olarak ele alacağız.

Zihniyet değişimi

İşin rahatsız edici gerçeği şu: Backtest'iniz fazla iyi görünüyorsa, muhtemelen yanlıştır.

%80'in üzerinde kazanma oranı ve minimal düşüşlerle yıllık %200 getiri gösteren stratejiler neredeyse her zaman overfit'tir. Piyasa böyle bedava para dağıtmaz. Backtest'iniz aksini söylüyorsa, bir yerde hata yapmışsınız demektir.

İyi bir nicel avantaj için gerçekçi beklentiler daha çok şöyledir: %60-70 kazanma oranı, 1.5-2.0 civarında kâr faktörü ve büyük ölçüde pozisyon büyüklüğü belirlemeye ve risk toleransınıza bağlı yıllık getiriler. Çok daha iyi rakamlar görüyorsanız şüpheci olun. Hem de çok şüpheci.

Bu seviyenin amacı, gerçek avantajları backtest seraplarından nasıl ayıracağınızı öğretmektir. Seviyenin sonunda, yalanları size para kaybettirmeden önce yakalayan bir doğrulama çerçevesine sahip olacaksınız.

Temel çıkarımlar

Çoğu backtest yalan söyler, çünkü canlı işlemin gerçekleriyle örtüşmeyen bir fantezi dünyasında çalışır. Yaygın yalanlar arasında overfitting, look ahead bias, hayatta kalma yanlılığı ve olduğundan düşük tahmin edilen maliyetler yer alır. Doğrulama testten farklıdır, çünkü doğrulama gelecekteki performansı öngörürken test yalnızca geçmişi betimler. Backtest'iniz gerçek olamayacak kadar iyi görünüyorsa, neredeyse kesinlikle öyledir.

Bir sonraki derste, backtest aldatmacasının en sinsi biçimlerinden birini inceleyeceğiz: look ahead bias.