TARGETHIT!

Diğer

Topluluk

Tema

Dil

Algoritmik işlem okulu/Doğrulama/Örneklem büyüklüğü: kaç işlem yeterli?
Doğrulama10 dk okuma

Örneklem büyüklüğü: kaç işlem yeterli?

10 işlemlik kazanma oranınız neden hiçbir şey ifade etmez

Örneklem büyüklüğü: kaç işlem yeterli?

Stratejinizin 10 işlemdeki kazanma oranı %90. Etkileyici mi? Pek sayılmaz. Yalnızca 10 işlemle bu kazanma oranı hiçbir şey ifade etmez. Yazı tura atsanız, sırf şans eseri 10 atışın 9'unda tura gelebilir.

Örneklem büyüklüğü, işlem stratejilerinin doğrulanmasında en çok yanlış anlaşılan kavramlardan biridir. Pek çok trader bir avuç sinyale dayanan stratejiler karşısında heyecana kapılır; sonra işlemler biriktikçe performansın sert biçimde gerilediğine tanık olur.

Küçük örneklemler neden yanıltır?

İstatistikte büyük sayılar yasası diye bir kavram vardır. Ne kadar çok gözleminiz olursa, örneklem ortalamanız altta yatan gerçek ortalamaya o kadar yaklaşır. Gözlem sayısı azken sonuçlara rastgele dalgalanmalar hâkim olur.

Gerçek kazanma oranı %55 olan bir strateji düşünün. Bu stratejiyle 10 işlem yaparsanız, yalnızca şans yüzünden %30 ile %80 arasında herhangi bir kazanma oranı görebilirsiniz. Güven aralığı son derece geniştir.

100 işlem yaptığınızda gözlenen kazanma oranı %55 çevresinde daha sıkı kümelenir; belki %45 ile %65 arasında değişir. 1,000 işlemde ise büyük olasılıkla %52 ile %58 arasında bir değer görürsünüz.

Kısacası, küçük örneklemler son derece yanıltıcı sonuçlar gösterebilir. 10 işlemdeki %90'lık bir kazanma oranı, gerçek kazanma oranı %55 olan bir stratejiden geliyor olabilir. Çok daha fazla işlem görmeden bunu bilemezsiniz.

İstatistiksel anlamlılığın temelleri

İstatistiksel anlamlılık şu soruyu yanıtlar: Bu sonuç şans eseri ortaya çıkmış olabilir mi?

Stratejiniz %60 kazanma oranı gösteriyorsa, istatistiksel testler gerçek kazanma oranı %50 olan, yani hiçbir avantajı (edge) bulunmayan bir stratejinin bu sonuçları sırf şansla üretmiş olma olasılığını sorgular. Bu olasılık düşükse, örneğin %5'in altındaysa, sonuca istatistiksel olarak anlamlı deriz.

Örneklem büyüklüğünüz arttıkça gerçek etkileri tespit etmek kolaylaşır. 50 işlemdeki %52 kazanma oranı istatistiksel olarak %50'den farklı değildir, çünkü rastgele dalgalanma bu sonucu kolayca üretebilir. 5,000 işlemdeki %52 kazanma oranı ise son derece anlamlıdır, çünkü rastgele dalgalanmanın bu kadar çok işlem boyunca istikrarlı biçimde %52 performans üretme olasılığı çok küçüktür.

Örneklem büyüklüğünün bu kadar önemli olmasının nedeni budur. Sinyali gürültüden ayırt edebilmek için yeterli sayıda işleme ihtiyacınız var.

Pratik kural: 1000+ işlem

Pratikte izlediğimiz kural şu: Backtest'inde (geçmiş veride test) en az 1,000 işlem olmayan hiçbir stratejiyi doğrulanmış saymayız.

Neden 1,000? Sihirli bir sayı değil, ama tipik bir işlem stratejisinin performansı için istatistiksel gücün anlam kazanmaya başladığı eşik kabaca burasıdır. 1,000 işlemde %55 kazanma oranı, makul bir güvenle %50'den istatistiksel olarak ayırt edilebilir. 100 işlemde ise bu mümkün değildir.

Beklenen performansı daha yüksek stratejilerde, örneğin kazanma oranı %65 ve üzerinde olanlarda, daha az işlemle, belki 300-500 işlemle anlamlı sinyaller alabilirsiniz. Kazanma oranı %50'ye daha yakın stratejilerde ise daha fazlasına, muhtemelen birkaç bin işleme ihtiyacınız olur.

Önemli olan belirli bir sayı değil, ilkedir: Sonuçlarınızı rastgele dalgalanmanın makul biçimde açıklayamayacağı kadar büyük bir örnekleme ihtiyacınız var.

Güven aralıkları

Güven aralıkları, ölçülen bir sonucun etrafındaki belirsizliğinizi sayıya döker.

Stratejiniz 500 işlemde %60 kazanma oranı gösteriyorsa, %95 güven aralığı kabaca %56 ile %64 arasında olabilir. Bu, stratejiyi defalarca çalıştırsaydınız gerçek kazanma oranının denemelerin %95'inde bu aralığa düşmesini bekleyeceğiniz anlamına gelir.

Örneklem büyüklüğü arttıkça güven aralıkları daralır. Aynı %60 kazanma oranı 2,000 işlemden elde edilmişse, %95 güven aralığı %58 ile %62 arasında olabilir. Gerçek değer konusunda daha emin olursunuz.

Stratejileri değerlendirirken yalnızca nokta tahminine değil, her zaman güven aralığına da bakın. Güven aralığı %55 ile %85 arasında olan ve %70 kazanma oranı gösteren bir strateji, kulağa geldiği kadar etkileyici değildir. Gerçek performans ancak kıl payı kârlı olabilir.

İşlem sayısı mı, süre mi?

Sık yapılan bir hata, işlem sayısıyla geçen süreyi birbirine karıştırmaktır. "Strateji 3 yıl boyunca işe yaradı" kulağa etkileyici gelir; ama bu 3 yılda yalnızca 40 işlem yaptıysa örneklem çok küçüktür.

Önemli olan takvim süresi değil, işlem sayısıdır. Günde 50 işlem üreten bir strateji bir ay içinde anlamlı bir örneklem büyüklüğüne ulaşır. Haftada bir işlem yapan bir stratejinin ise anlamlı bir örneklem biriktirebilmesi için yıllarca veriye ihtiyacı vardır.

Bu da bir ikilem yaratır. Sık işlem yapan stratejiler istatistiksel gücü hızla biriktirir, ama işlem maliyetleri daha yüksektir ve uygulanmaları daha karmaşıktır. Seyrek işlem yapan stratejileri uygulamak daha kolaydır, ama doğrulamak daha zordur.

Biz bu ikilemi, orta sıklıkta işlem yapan stratejileri tercih ederek aşıyoruz. Sinyallerimiz genellikle yılda yüzlerce işlem üretir; bu da ultra yüksek frekanslı işlemlerin operasyonel yüküne katlanmadan anlamlı örneklemler biriktirmeye yeter.

Gereken örneklem büyüklüğü imkânsız göründüğünde

Şöyle düşünüyor olabilirsiniz: Bir stratejiyi doğrulamak için 1,000+ işleme ihtiyacım varsa ve stratejim yılda yalnızca 100 işlem üretiyorsa, 10 yıllık veriye ihtiyacım var. Bu pek gerçekçi görünmüyor.

Bu noktada birkaç yaklaşım yardımcı olur.

Daha uzun tarihsel dönemler kullanın. Kripto piyasasının geçmişi sınırlıdır, ama çoğu zaman sandığınızdan fazla veri vardır. Bitcoin vadeli işlemleri 2017'den beri işlem görüyor. Birçok altcoin için 3-4 yıllık kullanılabilir veri bulunur. Bu geçmişin tamamını kullanabilen stratejiler tasarlayın.

Birden fazla varlıkta test edin. Strateji fikriniz birden fazla coinde işe yarıyorsa, bu coinlerin işlem geçmişini birleştirmek etkin örneklem büyüklüğünüzü artırır. Coin başına yılda 100 işlem üreten bir strateji, 5 coinde yılda toplam 500+ işlem üretebilir.

Bir miktar belirsizliği kabul edin. Uygulamada stratejileri çoğu zaman ideal olandan küçük örneklemlerle devreye almak zorunda kalırsınız. Önemli olan belirsizliğinizi bilmek ve pozisyon büyüklüğünü buna göre belirlemektir. 300 işlemlik bir strateji, 3,000 işlemlik bir stratejiye göre daha küçük pozisyon büyüklüklerini hak eder, çünkü gerçek performansından daha az eminsinizdir.

Temel çıkarımlar

Küçük örneklemler yanıltıcı sonuçlar üretir, çünkü gözlem sayısı azken rastgele dalgalanma baskın çıkar. İstatistiksel anlamlılık, sonuçların makul ölçüde şansla açıklanıp açıklanamayacağını söyler. Tipik stratejileri sağlam biçimde doğrulamak için en az 1,000 işlemi hedefleyin. Güven aralıkları belirsizliğinizi sayıya döker; örneklem büyüdükçe aralıklar daralır. Önemli olan takvim süresi değil, işlem sayısıdır. İdeal örneklem büyüklüğüne ulaşamıyorsanız birden fazla varlıkta test edin ve pozisyon büyüklüğünü belirsizliğinize göre belirleyin.

Bir sonraki derste, işlem performansını değerlendirirken hangi metriklerin gerçekten önemli olduğunu, hangilerininse sizi yanıltan gösteriş metrikleri olduğunu inceleyeceğiz.