Data pipeline (veri hattı) kurmak
Hangi verinin önemli olduğunu biliyorsunuz. Onu nereden alacağınızı da biliyorsunuz. Şimdi bu veriyi gerçekten toplayacak, saklayacak ve analize uygun hâle getirecek bir sisteme ihtiyacınız var. İşte bu, sizin data pipeline'ınız (veri hattınız).
İyi tasarlanmış bir pipeline arka planda güvenilir şekilde çalışır ve günün her saati veri toplar; böylece backtest (geçmiş veride test) ya da canlı sinyaller için ihtiyaç duyduğunuzda veri her zaman hazırdır.
Pipeline mimarisine genel bakış
Her data pipeline'ın üç temel aşaması vardır: veri alımı (veriyi elde etmek), depolama (veriyi saklamak) ve dönüştürme (veriyi kullanışlı hâle getirmek).
Bir kripto sinyal motoru için bu genellikle şu anlama gelir: veri sağlayıcılarına API çağrıları, sonuçları saklamak için dosyalar ya da veritabanları ve her şeyi temizleyip normalize eden işleme script'leri.
Şimdi her aşamayı pratik noktalarıyla birlikte ele alalım.
Aşama 1: Veri alımı
Veri alımı, verileri kaynaklarınızdan güvenilir ve verimli biçimde çekmekle ilgilidir.
Zamanlanmış toplama işin temelidir. Düzenli aralıklarla veri çeken script'leri bir cron zamanlamasıyla (ya da benzeri bir araçla) çalıştırırsınız. 1 dakikalık mumlar için script'i her dakika çalıştırabilirsiniz. 8 saatte bir güncellenen fonlama oranı (funding rate) için günde üç kez çalıştırırsınız. Toplama sıklığınızı verinin güncellenme sıklığına göre ayarlayın.
API yönetimi, istek sınırlarına (rate limit) ve hata yönetimine dikkat ister. 50 coin için birden fazla endpoint üzerinden veri çekerken istek sınırlarına takılırsınız. İstekler arasına gecikme koyun, sağlayıcının kurallarına uyun ve başarısız istekler için yeniden deneme mekanizması kurun.
Artımlı çekim ve tam çekim: Geçmiş veriye bir kez sahip olduktan sonra yalnızca yeni veriyi çekmeniz yeterlidir. Buna artımlı (incremental) toplama denir. Neleri topladığınızı takip edin ve yalnızca eksik olanı isteyin. Bu, API çağrılarını ve depolama alanındaki büyümeyi ciddi ölçüde azaltır.
Hata kurtarma önemlidir: API'ler hata verir, ağ bağlantıları kopar, sunucular çöker. Pipeline'ınızın bu boşlukları sorunsuz biçimde yönetmesi gerekir. Hataları loglayın, uzun süren kesintilerde alarm verin ve eksik veriyi geriye dönük doldurmak (backfill) için süreçleriniz olsun.
Aşama 2: Veri depolama
Depolama için iki ana seçeneğiniz var: dosyalar ya da veritabanları. İkisi de işe yarar; doğru seçim kullanım amacınıza bağlıdır.
Dosya tabanlı depolama (CSV, Parquet) basit ve esnektir. Her coin ve zaman dilimi için ayrı bir dosya tutulur. Güncellemeler dosyaya yeni satırlar ekler. Parquet formatı özellikle iyidir: iyi sıkıştırır ve hızlı sütun tabanlı sorgulara izin verir; zaman serisi verisi için birebirdir.
Dosya yaklaşımının kurulumu, hata ayıklaması ve yedeklenmesi daha kolaydır. Birçok trader için doğru seçim budur.
Veritabanı depolama (PostgreSQL, MongoDB, InfluxDB) daha güçlü sorgulama ve eşzamanlı erişimin daha iyi yönetilmesini sağlar. Birden fazla sürecin aynı anda okuyup yazması gereken ya da verileriniz üzerinde karmaşık sorgular gerektiren bir sistem kuruyorsanız veritabanı mantıklıdır.
MongoDB, JSON benzeri alternatif veriler için iyi çalışır. PostgreSQL yapılandırılmış zaman serilerini iyi yönetir. Asıl kullanım amacınız zaman serileriyse InfluxDB tam da bunun için tasarlanmıştır.
Başlangıç için önerimiz: Parquet dosyaları kullanın. Basit ve hızlıdırlar; gerekirse daha sonra her zaman bir veritabanına geçebilirsiniz.
Aşama 3: Veri dönüştürme
API'lerden gelen ham veri, analiz için ihtiyaç duyduğunuz biçimle nadiren örtüşür. Dönüştürme bu boşluğu kapatır.
Temizleme eksik değerleri ele alır, tekrarlanan kayıtları kaldırır ve bariz hataları düzeltir. Tek bir bozuk veri noktası koca bir backtest'i altüst edebilir.
Normalizasyon, her şeyi tutarlı birimlere ve formatlara getirir. Farklı borsalar toplam açık pozisyonu (open interest) kontrat sayısı ya da USD cinsinden raporlar; zaman damgaları farklı saat dilimlerinde olabilir. Her şeyi standart bir formata normalize edin.
Türetilmiş metrikler, asıl farkın yaratıldığı yerdir. Ham OHLCV ve emir defteri verilerinden z-score'ları (z puanı), hareketli ortalamaları, uyumsuzlukları ve avantajınızı (edge) oluşturan özel göstergeleri hesaplarsınız. Pipeline'ınız tam da burada rekabet avantajınıza dönüşür.
Çoklu zaman dilimi hizalaması zorlu ama zorunludur. 1 dakikalık CVD'yi 4 saatlik fonlama oranıyla birleştiriyorsanız ikisini doğru hizalamanız gerekir. Her 4 saatlik fonlama oranı değeri, 240 adet bir dakikalık çubuğa uygulanır. Bunu yanlış yaparsanız sisteminize look ahead bias (geleceğe bakma yanlılığı) sokarsınız.
Örnek pipeline yapısı
İşte basit ama etkili bir mimari:
Bir toplama script'i her dakika çalışır ve sağlayıcınızın API'sinden yeni verileri çeker. Ham veriyi coin ve endpoint bazında düzenlenmiş dosyalara kaydeder. Ayrı bir işleme script'i saatte bir çalışır: ham dosyaları okur, veriyi temizler, türetilmiş metrikleri hesaplar ve analize hazır Parquet dosyaları üretir.
Klasör yapısı şöyle görünebilir: data/raw/BTC/funding_rates/ data/raw/BTC/open_interest/ data/raw/SOL/liquidations/ data/processed/BTC_features.parquet data/processed/SOL_features.parquet
Ham ve işlenmiş veriyi ayrı tutun. Dönüştürme mantığınızı geliştirdikçe veriyi er ya da geç yeniden işlemek isteyeceksiniz.
Pratikte dikkat edilecekler
Depolama alanı ihtiyacı hızla büyür. 50 coin için onlarca gösterge içeren, birkaç yıllık 1 dakikalık veri yüzlerce gigabayt eder. Bunu önceden planlayın.
İşleme süresi, canlı sinyaller çalıştırırken önemlidir. İşleme 30 saniye sürüyorsa ama her dakika sinyale ihtiyacınız varsa bir sorununuz var demektir. Sık çalışan kritik kod yollarını (hot path) optimize edin.
İzleme sizi pek çok baş ağrısından kurtarır. Pipeline'ınızın sağlık durumunu loglayın. Veri toplama başarısız olduğunda alarm verin. Verinin güncelliğini takip edin. En kötü hata, siz fark edene kadar aylarca veriyi bozan sessiz hatadır.
Sürüm takibi: Dönüştürme mantığınızın sürümlerini takip edin. Bir göstergenin hesaplanma şeklini değiştirdiğinizde geçmiş veriyi yeniden işlemeniz gerekebilir. Hangi verinin kodunuzun hangi sürümüyle üretildiğini kayıt altında tutun.
TargetHit'te çalıştırdığımız sistem
Pipeline'ımız HyBlock'tan 54 coin için 58 farklı endpoint üzerinden, 5 zaman diliminde (1m, 5m, 15m, 1h, 4h) veri topluyor. Bu, çok fazla veri demek.
Ham veriyi coin, endpoint ve zaman dilimi bazında düzenlenmiş Parquet dosyalarında saklıyoruz. Bir toplu işleyici (batch runner) yeni verileri düzenli olarak işleyerek analize hazır veri setlerini güncel tutuyor.
İşlenmiş veri, istatistiksel avantajlar arayarak milyonlarca gösterge kombinasyonunu test eden keşif motorumuzu besliyor. Bu ancak pipeline temiz, eksiksiz ve doğru hizalanmış veri sağladığı için mümkün.
Başlarken
İlk günden kusursuz bir pipeline kurmaya çalışmayın. Basit başlayın:
Bir coin ve bir veri kaynağı seçin. Veriyi çekip bir CSV dosyasına kaydeden bir script yazın. Çalıştığını doğrulamak için birkaç kez elle çalıştırın. Otomatik çalışması için bir cron görevi kurun. Uç durumları (edge case) yakalamak için bir hafta boyunca izleyin.
Bu güvenilir şekilde çalışınca genişletin: daha fazla coin, daha fazla endpoint, daha gelişmiş depolama. Dönüştürmeyi ekleyin. Tam mimarinize adım adım ilerleyin.
En büyük hata, bozulduğunda anlayamayacağınız karmaşık bir sistem kurmaktır. Basit başlayın, karmaşıklığı ancak gerektikçe ekleyin.
Temel çıkarımlar
Bir data pipeline'ın üç aşaması vardır: veri alımı, depolama ve dönüştürme. Toplama sıklığını verinizin güncellenme sıklığına göre ayarlayın. Parquet ile dosya tabanlı depolama çoğu kullanım için basit ve etkilidir. Dönüştürme, avantaj yaratan türetilmiş metrikleri hesapladığınız aşamadır. Tek bir coin ve tek bir kaynakla basit başlayın, ardından adım adım genişletin. Pipeline'ınızı izleyin, çünkü sessiz hatalar verinizi bozar.
Böylece Veri seviyesi tamamlandı. Artık fiyat ve hacim verisinin ötesinde hangi verinin önemli olduğunu, onu nereden alacağınızı ve toplayıp işlemek için altyapıyı nasıl kuracağınızı biliyorsunuz. Sırada Doğrulama seviyesi var: fikirlerinizin gerçekten işe yarayıp yaramadığını nasıl test edeceğinizi öğreneceksiniz.