Backtest: veri, örneklem büyüklüğü ve hatalar

Backtest, yazılı kuralları geçmiş veriye uygulayıp "bu kurallar geçmişte ne yapardı" sorusuna cevap aramaktır. Cevap, kesin bir sayı değil, bir aralıktır; ve aralık, testi yapan kişinin hatalarıyla kolayca kayar. Bu rehber, testi doğru kurmayı ve sonucu doğru okumayı anlatıyor.

Elle mi, otomatik mi

Elle test: TradingView'in tekrar oynatma (replay) modunda ya da grafiği kaydırarak, kuralları tek tek uygulayıp her işlemi tabloya yazmak. Yavaştır (günde 20-40 işlem), ama iki büyük avantajı var: takdir içeren kurallar (yapı, bölge) elle test edilebilir ve test sırasında kuralların belirsiz yerlerini görürsünüz. Takdir gerektiren stratejilerin çoğu için tek yol budur.

Otomatik test: kurallar koda dönüştürülür (Pine Script, Python, platform yerleşik test aracı) ve yıllarca veri saniyeler içinde taranır. Hızlı ve tarafsızdır; ama yalnızca tamamen mekanik kurallar için çalışır ve kod hataları sonucu sessizce bozar. Algoritmik trading rehberinde ilk adımları anlatıyoruz.

İkisinin karışımı en iyisidir: mekanik kısımlar otomatik, takdir kısmı elle; ya da önce elle 100 işlem, sonra otomasyona geçip elle bulunan sonuçla karşılaştırma.

Kaç işlem yeterli

Kısa cevap: düşündüğünüzden çok. Kazanma oranı %45 olan bir stratejide 30 işlemlik örneklem, %28 ile %62 arasında bir sonuç verebilir; yani otuz işlem, stratejinin kârlı olup olmadığını söylemez. Yüz işlem, sonucu ±%10 bandına sokar; iki yüz işlem ±%7. Bizim asgari çizgimiz 100 işlem ve en az iki farklı piyasa rejimi (trend ve yatay; sakin ve oynak dönem). 2023'ün yalnızca ilk yarısında test edilmiş bir strateji, 2022'nin oynaklığında ne yapacağını bilmez.

Örneklem yalnızca sayı değil, çeşitliliktir: farklı yıllar, farklı oynaklık, farklı seanslar. Bir stratejinin son üç ayda harika görünmesi, o üç ayın stratejiye uyduğu anlamına gelir; başka bir şey değil.

Beş klasik hata

İleriye bakma (look-ahead). Kural, o an henüz bilinemeyecek bir bilgiyi kullanıyor: mum kapanmadan mumun kapanışına göre karar vermek, günün en yüksek/en düşüğünü gün içinde bilmek, sonradan revize edilmiş ekonomik veriyi orijinal sanmak. Elle testte "sonraki mumu görmeden" ilerlemek, otomatik testte kapanış verisini yalnızca kapanıştan sonra kullanmak gerekir. Şüpheli derecede iyi backtest sonuçlarının ilk sebebi budur.

Hayatta kalma yanlılığı. Bugün var olan enstrümanlarla test etmek; delist edilen hisseleri, çöken altcoin'leri dışarıda bırakmak. Kripto stratejilerini "bugünün ilk 20 coin'i" ile test etmek, geçmişte ilk 20'de olup yok olanları saymamaktır.

Maliyet ve kayma. Spread, komisyon, swap ve kayma eklenmeden yapılan test, kısa stop'lu stratejileri olduğundan çok daha iyi gösterir. Her işlem için gerçekçi maliyet ekleyin: EURUSD'de tur başına 1-1,5 pip, NAS100'de 1-2 puan, kripto vadelisinde %0,05-0,1; haber anlarında bunun birkaç katı.

Stop'un dolduğunu varsaymak. Boşluk açılışlarında ve veri anlarında stop planlanan fiyattan dolmaz; testte stop'u her zaman tam fiyattan doldu saymak iyimserdir. Elle testte boşluklu günleri ayrıca işaretleyin.

Aynı mumda hem stop hem hedef. Uzun bir mum hem stop'u hem hedefi kapsıyorsa hangisine önce değdiğini bilemezsiniz. Otomatik testler bunu çoğu zaman lehinize çözer. Kural: belirsiz durumda stop olmuş sayın. Bu, sonucu kötüleştirir ve gerçeğe yaklaştırır.

Sonucu nasıl okumalı

Toplam kâr ya da kazanma oranı değil, şu dördü: işlem başına beklenen değer (R cinsinden), profit factor, en derin drawdown ve en uzun kayıp serisi. Bunları performans metrikleri rehberinde tek tek ele alıyoruz. Bu dört sayı, stratejinin canlıda size ne yaşatacağını anlatır; toplam kâr yalnızca "geçmişte kaç para" der ve boyutla oynar.

Bir de eğriye bakın: sermaye eğrisi (equity curve) düzenli mi, yoksa iki-üç büyük işlem toplam sonucun yarısını mı taşıyor? En iyi beş işlemi çıkarın ve tekrar hesaplayın; strateji hâlâ artıdaysa sağlamdır, eksiye düşüyorsa birkaç şanslı işleme yaslanıyordur.

Test defteri

Her backtest için kayıt: strateji versiyonu, veri aralığı, enstrümanlar, maliyet varsayımı, işlem sayısı, dört metrik, en iyi beş işlem çıkarılmış sonuç, notlar. Bu defter olmadan üç ay sonra hangi versiyonun neyi verdiğini bilemezsiniz ve aynı testi tekrar yaparsınız. Backtest sonucu, tek başına canlıya geçme izni değildir; sonraki adım ileri testtir ve onu bir sonraki rehberde anlatıyoruz.