Backtest (geçmiş veride test) ile canlı işlem arasındaki uçurum
Bir avantaj (edge) buldunuz. Walk forward doğrulamasını geçti. Sağlamlık kontrollerini geçti. Ekonomik gerekçesi de mantıklı.
Peki şimdi ne olacak?
Yapılabilecek en kötü hata, doğrudan tam büyüklükle canlı işleme atlamaktır. Backtest'ler ne kadar titiz olursa olsun birer simülasyondur. Canlı piyasalarda backtest'lerin yakalayamadığı sürtünmeler, gecikmeler ve sürprizler vardır.
Bu derste terfi sürecimizi ele alıyoruz: avantajları keşiften demo işleme, oradan da canlı üretim ortamına taşıyan sistematik süreç.
Terfi süreci
Sürecimiz dört aşamadan oluşur:
1. aşama: Keşif Avantaj istatistiksel doğrulamayı geçer. Veritabanımızda "aday" olarak yer alır.
2. aşama: Demo işlem Avantaj üretim sistemlerinde çalışır, ancak gerçek işlem yapmaz. Sinyaller oluşur, varsayımsal PnL takip edilir, ama hiçbir sermaye risk altında değildir.
3. aşama: Küçük canlı işlem Avantaj minimum pozisyon büyüklükleriyle işlem yapar. Gerçek para risk altındadır, ancak maruziyet sınırlıdır. Bu bir öğrenme aşamasıdır.
4. aşama: Tam canlı işlem Avantaj hedeflenen pozisyon büyüklükleriyle işlem yapar. Tam üretim statüsündedir.
Her aşamanın giriş ve çıkış kriterleri vardır. Avantajlar bir sonraki aşamaya terfi ettirilebilir ya da bir önceki aşamaya geri düşürülebilir.
1. aşama: keşiften çıkış kriterleri
Bir avantajın keşif aşamasından çıkıp demo işleme geçebilmesi için şunları geçmesi gerekir:
- Walk forward doğrulaması: Örneklem içi ve örneklem dışı performansın ikisi de kabul edilebilir
- Örneklem büyüklüğü: Minimum 500 olay (tercihen 1,000+)
- Kazanma oranı: Türüne göre belirlenen eşiğin üzerinde (ör. ortalamaya dönüş için >%60)
- Kâr faktörü: 1.5'in üzerinde
- Parametre kararlılığı: Parametreler değiştikçe performans aniden çökmez, kademeli olarak bozulur
- Ekonomik gerekçe: Açıklanabilir bir mekanizma
- Rejim dokümantasyonu: Hangi piyasa koşullarını gerektirdiği net olarak belirtilmiş
- Gereksiz tekrar yok: Hâlihazırda canlıda olan avantajları kopyalamıyor
Kriterleri geçen avantajlara benzersiz kimlikler atanır ve bu avantajlar demo işlem kuyruğuna alınır.
2. aşama: demo işlem
Demo işlem, üretim altyapısını gerçek emir göndermeden çalıştırmaktır.
Neler olur:
- Avantaj sinyal tarayıcısına yüklenir
- Sinyaller avantajın kurallarına göre oluşur
- Varsayımsal girişler ve çıkışlar kaydedilir
- PnL, işlemler gerçekleşmiş gibi hesaplanır
- Gecikme ve zamanlama takip edilir
Neden önemli:
- Üretim kodunun backtest mantığıyla örtüştüğünü doğrular
- Data pipeline (veri hattı) sorunlarını yakalar (bayat veri, eksik veri akışları)
- Operasyonel sorunları ortaya çıkarır (sinyal zamanlaması, emir yürütme pencereleri)
- İleriye dönük performans verisi sağlar
Süre: Minimum 30 gün veya 50 sinyal; hangisi daha uzun sürerse. Bazı avantajlar sık sinyal üretir ve iki haftada 50 sinyale ulaşır. Diğerleri seyrek sinyal verir; bunlar için aylar gerekir.
Terfi için çıkış kriterleri:
- İleriye dönük performans, backtest beklentilerinden en fazla %20 sapıyor
- Operasyonel sorun yok
- Sinyal kalitesi korunuyor
- En az 30 sinyal gözlemlendi
Geri düşürme için çıkış kriterleri:
- İleriye dönük performans backtest'ten belirgin şekilde kötü
- Çözülemeyen operasyonel sorunlar
- Avantajı geçersiz kılan, değişen piyasa koşulları
Demo işlem ucuzdur; risk altında hiç para yoktur. Emin olana kadar bu aşamada kalın.
3. aşama: küçük canlı işlem
İlk gerçek para. Pozisyon büyüklükleri, hedeflenen nihai büyüklüğün %10-25'i düzeyinde.
Amaç:
- Emir yürütme kalitesini doğrulamak (kayma, gerçekleşme oranları)
- Gerçek PnL psikolojisini deneyimlemek
- Yalnızca gerçek emirlerle ortaya çıkan sorunları yakalamak
Takip ettiklerimiz:
- Fiili giriş fiyatı ile beklenen giriş fiyatı
- Fiili çıkış fiyatı ile beklenen çıkış fiyatı
- İşlem başına kayma maliyeti
- Gerçekleşme oranı (sinyallerin yüzde kaçının fiilen işleme dönüştüğü)
- Gerçek PnL ile demo PnL karşılaştırması
Süre: Minimum 30 gün veya 30 gerçek işlem.
Pozisyon büyüklüğü belirleme mantığı: Hedeflenen nihai büyüklük sinyal başına portföyün %2'siyse, küçük canlı işlemde sinyal başına %0,3-0,5 kullanılır. Gerçek olacak kadar büyük, avantaj başarısız olursa hayatta kalınabilecek kadar küçük.
Terfi için çıkış kriterleri:
- Gerçek performans demo performansını izliyor (en fazla %25 sapma)
- Kayma kabul edilebilir düzeyde (genellikle <%0,2)
- Emir yürütme kalitesi istikrarlı
- Olumsuz sürpriz yok
Geri düşürme için çıkış kriterleri:
- Demo işleme kıyasla belirgin şekilde düşük performans
- Emir yürütme sorunları (kötü gerçekleşmeler, yüksek kayma)
- Avantajda erime belirtileri
4. aşama: tam canlı işlem
Avantaj, hedeflenen pozisyon büyüklükleriyle ve tam güvenle çalışır.
Sürekli izleme:
- Tarihsel beklentilere kıyasla kayan pencere performansı
- Rejim uyumu (avantaj geçerli olduğu rejimde mi?)
- Beklenene kıyasla sinyal sıklığı
- Düşüş (drawdown) takibi
Kırmızı bayraklar:
- Zamanla bozulan performans (avantaj erimesi)
- Düşen sinyal sıklığı (değişen piyasa koşulları)
- Diğer avantajlarla beklenmedik korelasyon (yoğunlaşma riski)
Tam canlı işlemdeki avantajlar bile düzenli olarak gözden geçirilir. Hiçbir avantaj denetlenmeden sonsuza kadar çalışmaz.
Durdurma kriterleri: bir avantajla işlem yapmayı ne zaman bırakmalı?
Avantajlar ölür. Piyasalar değişir. İşe yarayan şey işe yaramaz hale gelir.
Durdurma kriterleri (herhangi biri tetiklenirse zarar durdur (stop-loss) mantığıyla bir inceleme başlatılır):
Performansa dayalı:
- 30 günlük kayan kazanma oranı %50'nin altına düşer
- Düşüş, avantajın tarihsel maksimum düşüşünün %20'sini aşar
- Üst üste üç ay negatif performans
İstatistiksel:
- Son dönem performansı istatistiksel olarak backtest'ten kötü (beklenenin >2 standart sapma altında)
- Kazanma oranının güven aralığı artık backtest kazanma oranını içermiyor
Operasyonel:
- Rejim gereksinimleri uzun süre boyunca karşılanmıyor
- Veri kaynağı erişilemez veya güvenilmez hale geliyor
- Borsa tarafındaki değişiklikler emir yürütme varsayımlarını geçersiz kılıyor
Niteliksel:
- Avantajın tezini geçersiz kılan bir piyasa yapısı değişikliği
- Avantajın mekanizmasını etkileyen düzenleyici değişiklikler
- Rakiplerin faaliyetleri, avantajın artık kalabalıklaştığına işaret ediyor
Durdurma kriterleri tetiklendiğinde avantaj "askıya alındı" statüsüne geçer. Daha sonra yeniden değerlendirilebilir, ancak işlem yapmayı derhal bırakır.
Geçişlerde pozisyon büyüklüğü belirleme
Akıllı pozisyon büyüklüğü belirleme, terfi riskini yönetir:
Keşif → Demo: Pozisyon yok (yalnızca demo)
Demo → Küçük canlı işlem: Hedef büyüklüğün %15-25'i
Küçük canlı işlem → Tam canlı işlem: Kademeli artış
- 1-2. hafta: Hedefin %25'i
- 3-4. hafta: Hedefin %50'si
- 5-6. hafta: Hedefin %75'i
-
- hafta ve sonrası: Hedefin %100'ü
Bu kademeli yaklaşım, geçiş sürecinde bir şeyler ters giderse hasarı sınırlar.
Terfi veritabanı
Her avantajın yolculuğu kayıt altına alınır:
| Alan | Açıklama |
|---|---|
| edge_id | Benzersiz tanımlayıcı |
| current_stage | DISCOVERY/PAPER/SMALL_LIVE/FULL_LIVE/SUSPENDED |
| stage_entry_date | Mevcut aşamanın başladığı tarih |
| paper_start_date | Demo işlemin başladığı tarih |
| paper_signals | Demo sinyal sayısı |
| paper_pnl | Kümülatif demo PnL |
| live_start_date | Gerçek parayla canlı işlemin başladığı tarih |
| live_signals | Gerçek sinyal sayısı |
| live_pnl | Kümülatif gerçek PnL |
| notes | Gözlemler, sorunlar, kararlar |
Bu geçmiş analize imkân tanır: Avantajlar genellikle ne kadar süre ayakta kalıyor? Bir avantajın başarısız olacağını önceden ne haber veriyor? Hangi keşif yöntemleri kalıcı avantajlar üretiyor?
Örnek: bir avantajın terfi zaman çizelgesi
Gerçek bir örnek (anonimleştirilmiş):
0. gün: Avantaj keşfedildi. Boğa rejiminde fonlama + OI (toplam açık pozisyon) uyumsuzluğu. Backtest'te %68 kazanma oranı, 1,247 örneklem.
1. gün: Doğrulama incelemesini geçti. Demo işlem kuyruğuna alındı.
14. gün: Kuyruk boşalınca demo işlem başladı.
45. gün: Demo işlem tamamlandı. 37 sinyal, %65 kazanma oranı, backtest'e göre -%3. Kabul edilebilir sapma.
46. gün: %20 büyüklükle küçük canlı işleme terfi ettirildi.
78. gün: Küçük canlı işlem aşaması tamamlandı. 24 gerçek işlem, %63 kazanma oranı, %0,08 kayma. Gerçek PnL, demo beklentisinin %94'ü.
79. gün: Tam büyüklüğe kademeli terfi başladı.
107. gün: %100 büyüklükle tam canlı işlem.
240. gün: Hâlâ çalışıyor. 90 günlük kayan pencere: %61 kazanma oranı; hafif düşük performans, ama sınırlar içinde.
312. gün: 60 günlük pencerede kazanma oranı %54'e düştü. Sarı bayrak gösterildi.
350. gün: Kazanma oranı düşmeye devam etti. İnceleme için askıya alındı.
380. gün: Olay sonrası analiz (post-mortem): Piyasa rejimi değişmişti, avantaj yeni koşullarda artık geçerli değildi. Kalıcı olarak emekliye ayrıldı.
Toplam ömür: ~11 ay. Bu olağandır; avantajlar sonsuza kadar sürmez.
Overfitting'e (aşırı uyum) düşmeden sürekli iyileştirme
Avantajlar iyileştirilebilir, ama dikkatli olmak şartıyla:
İzin verilenler:
- Canlı gözlemlere dayanarak rejim filtrelerinin sıkılaştırılması
- Emir yürütme verilerine dayanarak çıkış zamanlamasının ayarlanması
- Gerçekleşen volatiliteye dayanarak pozisyon büyüklüğü belirlemenin iyileştirilmesi
Tehlikeli olanlar:
- Son dönem performansını iyileştirmek için eşik parametrelerinin değiştirilmesi
- Son dönemdeki kötü sinyalleri filtrelemek için yeni faktörlerin eklenmesi
- Zararları açıklayıp geçiştirmek için mantığın değiştirilmesi
Fark şu: genellenebilir içgörülere dayanan değişiklikler ile son dönem verisine curve fitting (eğri uydurma) yapan değişiklikler.
Emin değilseniz değişiklik yapmayın. Canlıdaki bir avantajı yamalamak yerine yeni bir avantaj sürümünü devreye alın ve terfi sürecinde sıfırdan test edin.
Temel çıkarımlar
- Asla backtest'ten doğrudan tam büyüklükte canlı işleme geçmeyin
- Süreç: Keşif → Demo işlem → Küçük canlı işlem → Tam canlı işlem
- Her aşamanın minimum süreleri olan giriş ve çıkış kriterleri vardır
- Pozisyon büyüklüğü geçişler boyunca kademeli olarak artar
- Durdurma kriterleri, bir avantajla işlem yapmayı ne zaman bırakacağınızı belirler
- Öğrenmek ve analiz etmek için her avantajın yolculuğunu takip edin
- Avantajların ömrü sınırlıdır; sürekli izleme şarttır
- Son dönemdeki gürültüye yeniden uyum sağlamamak için dikkatle iyileştirin
Terfi süreci, yeni stratejileriniz için risk yönetiminizdir. Zaman ve fırsat maliyeti vardır, ama felaketleri önler. Profesyonel bir operasyonu backtest sonuçlarıyla kumar oynamaktan ayıran şey disiplinli bir süreçtir.