TARGETHIT!

Diğer

Topluluk

Tema

Dil

Algoritmik işlem okulu/Üretim/Sürekli iyileştirme: overfitting'e düşmeden sistem geliştirmek
Üretim10 dk okuma

Sürekli iyileştirme: overfitting'e düşmeden sistem geliştirmek

Avantajınızı bozmadan sisteminizi geliştirmek

İyileştirme paradoksu

Sisteminizin güncellenmesi gerekecek. Piyasalar değişir. Hatalar ortaya çıkar. Daha iyi fikirler doğar. Ancak her değişiklik, çalışan bir şeyi bozma ya da yakın tarihli veriye overfitting (aşırı uyum) riski taşır.

Sürekli iyileştirme, gelişimle istikrar arasında denge kurmayı gerektirir.

Ne zaman değişiklik yapmalı?

Güncelleme için iyi nedenler:

  • Hata düzeltmeleri (bir şey bozuk)
  • Altyapı iyileştirmeleri (strateji değil, güvenilirlik)
  • Yeni bir avantajın (edge) devreye alınması (usulüne uygun süreçle doğrulanmış)
  • Risk yönetiminde iyileştirmeler (canlı işlem deneyimine dayalı)

Güncelleme için kötü nedenler:

  • Yakın dönemdeki zararlar (varyans olabilir)
  • Başka birinin sistemi daha iyi sonuç verdi (konuyla ilgisiz)
  • İçgüdüsel his (veri değil)
  • Can sıkıntısı (tehlikeli bir motivasyon)

Değişiklik süreci

Her önemli değişiklik belirli bir süreci izlemelidir:

  1. Tanımlayın - Tam olarak hangi sorunu çözüyorsunuz?
  2. Hipotez kurun - Hangi değişiklik bu sorunu giderecek?
  3. Doğrulayın - Değişikliği sermayeyi riske atmadan test edin
  4. Devreye alın - Geri alma (rollback) imkânını koruyarak uygulayın
  5. İzleyin - Değişikliğin işe yaradığını doğrulayın

Adım atlarsanız sisteme risk sokarsınız.

Değişiklik türleri

1. kademe: kritik düzeltmeler Hemen devreye alınmalı. Sistem bozuk ya da beklenmedik şekilde para kaybediyor.

Süreç: Düzeltin, asgari düzeyde test edin, devreye alın, yakından izleyin.

2. kademe: kritik olmayan hatalar Sistem çalışıyor ama bir şeyler yanlış.

Süreç: Düzeltin, tam test yapın, aktivitenin düşük olduğu bir dönemde devreye alın.

3. kademe: iyileştirmeler Sistem sorunsuz çalışıyor ama daha iyi olabilir.

Süreç: Eksiksiz doğrulama döngüsü. Acele yok.

4. kademe: yeni stratejiler Yeni avantajlar eklemek ya da büyük değişiklikler yapmak.

Süreç: Sıfırdan kuruyormuş gibi eksiksiz doğrulama.

Yakın tarihli veriye overfitting'den kaçınmak

İyileştirmedeki en büyük tehlike: yakın dönem performansına göre optimizasyon yapmak.

Senaryo: Geçen ay zararla kapandı. O ayı iyileştirmek için parametrelerle oynuyorsunuz. Sonraki ay koşullar farklı ve yaptığınız ayarlar durumu daha da kötüleştiriyor.

Korunma yolları:

  • Asla yalnızca yakın tarihli veri üzerinde optimizasyon yapmayın
  • Değişiklikleri örneklem dışı dönemlerde doğrulayın
  • Sadece iyileşme değil, istatistiksel anlamlılık arayın
  • Kusursuz görünen parametrelere şüpheyle yaklaşın

Sisteminizin sürüm yönetimi

Her değişikliği sürüm numaralarıyla takip edin.

Sürüm bileşenleri:

  • Ana sürüm (major): önemli strateji değişiklikleri (2.0, 3.0)
  • Ara sürüm (minor): yeni özellikler veya avantajlar (2.1, 2.2)
  • Yama (patch): hata düzeltmeleri (2.1.1, 2.1.2)

Faydaları:

  • Sorunsuz çalıştığı bilinen bir sürüme geri dönebilme
  • Performansın ne zaman değiştiğini izleyebilme
  • Sorunları değişikliklerle ilişkilendirebilme

Üretim ortamında A/B testi

Değişiklikleri mevcut sisteme karşı test edin:

  • Yeni sürümü sermayenin bir kısmıyla çalıştırın
  • Performansı anlamlı bir süre boyunca karşılaştırın
  • Tam devreye almadan önce istatistiksel anlamlılık arayın

Küçük örneklem büyüklükleri yalan söyler. Zaferi erken ilan etmeyin.

Performans bozulmasını izlemek

Performans zamanla bozulacaktır. Piyasalar değişir, avantajlar erir.

Dikkat edilecekler:

  • Kazanma oranında kademeli düşüş
  • Artan kayma (slippage)
  • Azalan sinyal sıklığı
  • Düşüşlerden (drawdown) toparlanmanın uzaması

Yapılacaklar:

  • Nedenini araştırın
  • Avantajın mı tükendiğini, yoksa bunun varyans mı olduğunu belirleyin
  • Ya düzeltin ya da emekliye ayırın

Avantaj yaşam döngüsü yönetimi

Avantajlar sonsuza kadar yaşamaz.

Yaşam döngüsü aşamaları:

  1. Keşif - Avantajı bulmak
  2. Doğrulama - İşe yaradığını teyit etmek
  3. Üretim - Canlı işlem
  4. İzleme - Erime belirtilerini takip etmek
  5. Emeklilik - Tükendiğinde devreden çıkarmak

Emekliliği önceden planlayın. Hangi kriterler bir avantajla işlem yapmayı bırakmanıza yol açacak?

Belgeleme

Her değişikliği belgeleyin:

  • Ne değişti
  • Neden değişti
  • Ne zaman devreye alındı
  • Beklenen etki
  • Gerçekleşen etki

Gelecekteki hâliniz, bugünkü hâlinize teşekkür edecek.

İstikrar yanlılığı

İşler yolundayken değiştirmeme yönünde eğilim gösterin.

Her değişiklik risk taşır. Çalışan bir sistemin değeri vardır. Açık bir neden yoksa başarıya dokunmayın.

Çıkarım

Yöntemli şekilde iyileştirin. Titizlikle doğrulayın. Her şeyi belgeleyin.

Hedef, hâlihazırda çalışanı bozmadan zamanla daha iyi hâle gelen bir sistemdir.

Sıradaki ders: ciddi sermayeye hazır olduğunuzda ölçeklendirme.