Kaosu kabullenin
Canlı işlemde işler ters gidecek. Ağ bağlantıları kopar. Borsalarda kesinti yaşanır. Kodunuzda bug'lar vardır. Dayanıklı bir sistemle felaket arasındaki fark, hataları nasıl yönettiğinizdir.
Hata kategorileri
Geçici hatalar: Ağ zaman aşımları, istek sınırları (rate limit) gibi kısa süreli arızalar. Müdahale: geri çekilmeyle (backoff) yeniden deneyin.
Kalıcı hatalar: Kendiliğinden düzelmeyen hatalar (geçersiz kimlik bilgileri, yetersiz bakiye). Müdahale: alarm verin ve sistemi durdurun.
Veri hataları: Beklenmedik ya da geçersiz veri (bozuk biçimli yanıt, eksik alanlar). Müdahale: loglayın, alarm verin, yedek çözüme (fallback) geçin.
Mantık hataları: Kodunuzdaki bug'lar. Müdahale: hemen alarm verin, savunmacı kodlama uygulayın.
Yeniden deneme deseni
Rastgele jitter eklenmiş üstel geri çekilme (exponential backoff) kullanın. Borsa aşırı yük altındaysa herkesin hemen yeniden denemesi durumu daha da kötüleştirir. Yeniden denemeleri zamana yaymak, borsanın toparlanmasına yardımcı olur. Jitter, eşzamanlı yeniden deneme fırtınalarını önler.
Devre kesiciler (circuit breaker)
Hatalar birikince denemeyi bırakın. Devre kesici deseni: Kapalı (normal) --> Çok fazla hata --> Açık (fail fast: çağrılar beklemeden hata döner) --> Zaman aşımı --> Yarı açık (deneme) --> Başarı olursa Kapalı'ya, başarısızlık olursa Açık'a dönülür.
Devre kesicileri borsa bazında kullanın. Binance'te sorun varsa bunun Bybit tarafındaki işlemleri etkilemesine izin vermeyin.
Kademeli işlev kaybı (graceful degradation)
Bileşenler arızalandığında sistemin tamamen çökmesine izin vermeyin; işlevleri kontrollü biçimde azaltın:
- Gerçek zamanlı veri alamıyor musunuz? Periyodik sorgulamaya (polling) geçin.
- Yürütme mi başarısız oluyor? Sinyalleri daha sonra işlemek üzere kuyruğa alın.
- Veritabanı mı çöktü? Geçici olarak dosyalara loglayın.
Hedef: sorunu çözene kadar ayakta kalmak ve sermayeyi korumak.
Dead letter queue'lar
Bir mesaj yeniden denemelere rağmen işlenemiyorsa onu kaybetmeyin. Daha sonra incelemek üzere bir dead letter queue'ya (işlenemeyen mesajların bekletildiği kuyruk) taşıyın.
Idempotency (eşgüçlülük)
İşlemleri, yeniden denendiklerinde sorun çıkarmayacak şekilde tasarlayın. Aynı sinyali iki kez işlerseniz iki pozisyon açmamalısınız. Benzersiz sinyal kimlikleri (ID) kullanın ve yürütmeden önce sinyalin daha önce işlenip işlenmediğini kontrol edin.
Sağlık kontrolleri
Sistem sağlığını aktif olarak doğrulayın: liveness kontrolleri (süreç çalışıyor mu?), readiness kontrolleri (trafiği karşılayabiliyor mu?) ve bağımlılık kontrolleri (veritabanlarına ve borsalara erişilebiliyor mu?).
Sağlık kontrollerini zamanlanmış görevler olarak çalıştırın ve başarısız olduklarında alarm üretin.
Alarm stratejisi
Her hata, gece 3'te çalan bir telefonu hak etmez. Kategorilere ayırın:
Kritik (anında telefonla çağrı): Pozisyon uyuşmazlığı, olağandışı PnL, sistemin tamamen çökmesi.
Yüksek (dakikalar içinde alarm): Yürütme hataları, veri akışı sorunları, bakiye uyarıları.
Orta (saatler içinde alarm): İstek sınırı uyarıları, küçük hatalar, performans kaybı.
Düşük (günlük özet): Bilgilendirme amaçlı olaylar, küçük uyarılar.
Hata loglamada en iyi uygulamalar
Şunları ekleyin: zaman damgası, hata türü, tam stack trace, ilgili bağlam (emir ayrıntıları, piyasa durumu), korelasyon için benzersiz istek kimliği.
Biçim: Sorgulayıp analiz edebilmek için yapılandırılmış loglama (JSON) kullanın.
Kurtarma prosedürleri
Sık karşılaşılan arızalardan nasıl kurtulacağınızı belgeleyin:
- Borsa API anahtarının süresi doldu: yeni anahtar oluşturun, yapılandırmayı güncelleyin, yeniden başlatın
- Pozisyon uyuşmazlığı: mutabakat script'ini çalıştırın, doğrulayın, düzeltin
- Devre kesici açık: borsanın durumunu kontrol edin, sorun çözüldüyse sıfırlayın
Belgelenmiş prosedürler, panikle yapılan hataların önüne geçer.
Savunmacı kodlama
Dışarıdan gelen her şeyin güvenilmez olduğunu varsayın:
- Tüm girdi verilerini doğrulayın
- Null/undefined değerleri kontrol edin
- Tüm dış çağrılarda zaman aşımı kullanın
- Kaynak kullanımını sınırlayın (bellek, bağlantılar)
Çıkarım
Hatalar istisna değil, beklenen durumlardır. Sisteminizi onları kontrollü biçimde karşılayacak şekilde tasarlayın. Amaç tüm hataları önlemek değil; etki alanlarını (blast radius) sınırlamak ve hızla toparlanmaktır.