İyileştirme paradoksu
Sisteminizin güncellenmesi gerekecek. Piyasalar değişir. Hatalar ortaya çıkar. Daha iyi fikirler doğar. Ancak her değişiklik, çalışan bir şeyi bozma ya da yakın tarihli veriye overfitting (aşırı uyum) riski taşır.
Sürekli iyileştirme, gelişimle istikrar arasında denge kurmayı gerektirir.
Ne zaman değişiklik yapmalı?
Güncelleme için iyi nedenler:
- Hata düzeltmeleri (bir şey bozuk)
- Altyapı iyileştirmeleri (strateji değil, güvenilirlik)
- Yeni bir avantajın (edge) devreye alınması (usulüne uygun süreçle doğrulanmış)
- Risk yönetiminde iyileştirmeler (canlı işlem deneyimine dayalı)
Güncelleme için kötü nedenler:
- Yakın dönemdeki zararlar (varyans olabilir)
- Başka birinin sistemi daha iyi sonuç verdi (konuyla ilgisiz)
- İçgüdüsel his (veri değil)
- Can sıkıntısı (tehlikeli bir motivasyon)
Değişiklik süreci
Her önemli değişiklik belirli bir süreci izlemelidir:
- Tanımlayın - Tam olarak hangi sorunu çözüyorsunuz?
- Hipotez kurun - Hangi değişiklik bu sorunu giderecek?
- Doğrulayın - Değişikliği sermayeyi riske atmadan test edin
- Devreye alın - Geri alma (rollback) imkânını koruyarak uygulayın
- İzleyin - Değişikliğin işe yaradığını doğrulayın
Adım atlarsanız sisteme risk sokarsınız.
Değişiklik türleri
1. kademe: kritik düzeltmeler Hemen devreye alınmalı. Sistem bozuk ya da beklenmedik şekilde para kaybediyor.
Süreç: Düzeltin, asgari düzeyde test edin, devreye alın, yakından izleyin.
2. kademe: kritik olmayan hatalar Sistem çalışıyor ama bir şeyler yanlış.
Süreç: Düzeltin, tam test yapın, aktivitenin düşük olduğu bir dönemde devreye alın.
3. kademe: iyileştirmeler Sistem sorunsuz çalışıyor ama daha iyi olabilir.
Süreç: Eksiksiz doğrulama döngüsü. Acele yok.
4. kademe: yeni stratejiler Yeni avantajlar eklemek ya da büyük değişiklikler yapmak.
Süreç: Sıfırdan kuruyormuş gibi eksiksiz doğrulama.
Yakın tarihli veriye overfitting'den kaçınmak
İyileştirmedeki en büyük tehlike: yakın dönem performansına göre optimizasyon yapmak.
Senaryo: Geçen ay zararla kapandı. O ayı iyileştirmek için parametrelerle oynuyorsunuz. Sonraki ay koşullar farklı ve yaptığınız ayarlar durumu daha da kötüleştiriyor.
Korunma yolları:
- Asla yalnızca yakın tarihli veri üzerinde optimizasyon yapmayın
- Değişiklikleri örneklem dışı dönemlerde doğrulayın
- Sadece iyileşme değil, istatistiksel anlamlılık arayın
- Kusursuz görünen parametrelere şüpheyle yaklaşın
Sisteminizin sürüm yönetimi
Her değişikliği sürüm numaralarıyla takip edin.
Sürüm bileşenleri:
- Ana sürüm (major): önemli strateji değişiklikleri (2.0, 3.0)
- Ara sürüm (minor): yeni özellikler veya avantajlar (2.1, 2.2)
- Yama (patch): hata düzeltmeleri (2.1.1, 2.1.2)
Faydaları:
- Sorunsuz çalıştığı bilinen bir sürüme geri dönebilme
- Performansın ne zaman değiştiğini izleyebilme
- Sorunları değişikliklerle ilişkilendirebilme
Üretim ortamında A/B testi
Değişiklikleri mevcut sisteme karşı test edin:
- Yeni sürümü sermayenin bir kısmıyla çalıştırın
- Performansı anlamlı bir süre boyunca karşılaştırın
- Tam devreye almadan önce istatistiksel anlamlılık arayın
Küçük örneklem büyüklükleri yalan söyler. Zaferi erken ilan etmeyin.
Performans bozulmasını izlemek
Performans zamanla bozulacaktır. Piyasalar değişir, avantajlar erir.
Dikkat edilecekler:
- Kazanma oranında kademeli düşüş
- Artan kayma (slippage)
- Azalan sinyal sıklığı
- Düşüşlerden (drawdown) toparlanmanın uzaması
Yapılacaklar:
- Nedenini araştırın
- Avantajın mı tükendiğini, yoksa bunun varyans mı olduğunu belirleyin
- Ya düzeltin ya da emekliye ayırın
Avantaj yaşam döngüsü yönetimi
Avantajlar sonsuza kadar yaşamaz.
Yaşam döngüsü aşamaları:
- Keşif - Avantajı bulmak
- Doğrulama - İşe yaradığını teyit etmek
- Üretim - Canlı işlem
- İzleme - Erime belirtilerini takip etmek
- Emeklilik - Tükendiğinde devreden çıkarmak
Emekliliği önceden planlayın. Hangi kriterler bir avantajla işlem yapmayı bırakmanıza yol açacak?
Belgeleme
Her değişikliği belgeleyin:
- Ne değişti
- Neden değişti
- Ne zaman devreye alındı
- Beklenen etki
- Gerçekleşen etki
Gelecekteki hâliniz, bugünkü hâlinize teşekkür edecek.
İstikrar yanlılığı
İşler yolundayken değiştirmeme yönünde eğilim gösterin.
Her değişiklik risk taşır. Çalışan bir sistemin değeri vardır. Açık bir neden yoksa başarıya dokunmayın.
Çıkarım
Yöntemli şekilde iyileştirin. Titizlikle doğrulayın. Her şeyi belgeleyin.
Hedef, hâlihazırda çalışanı bozmadan zamanla daha iyi hâle gelen bir sistemdir.
Sıradaki ders: ciddi sermayeye hazır olduğunuzda ölçeklendirme.