Aşırı uyum (overfitting) ve sağlamlık testleri

Bir strateji geliştirip parametrelerini oynadıkça backtest sonucu iyileşir: 20 EMA yerine 23, stop 1,5 ATR yerine 1,7, seans 10:00 yerine 10:15. Sonunda profit factor 3,4, drawdown %4 olan bir şey elde edersiniz ve canlıda ilk ay kaybeder. Olan şey aşırı uyumdur: strateji, geçmiş verinin gürültüsünü öğrenmiştir, sinyalini değil. Bu rehber, aşırı uyumu tanımayı ve stratejiyi ona karşı sınamayı anlatıyor.

Nasıl oluşur

Geçmiş veri sonludur ve rastgele iniş çıkışlarla doludur. Yeterince parametreyle yeterince deneme yaparsanız, bu rastgele iniş çıkışlara "uyan" bir kombinasyon her zaman bulunur. Bulduğunuz şey, geçmişin fotoğrafıdır; gelecek o fotoğrafı tekrarlamaz. Serbestlik derecesi (parametre sayısı) arttıkça ve test edilen kombinasyon sayısı arttıkça, sonucun şans eseri iyi çıkma olasılığı büyür.

Kural: parametre sayısı, işlem sayısına göre az olmalı. 100 işlemlik veriyle 8 parametreyi optimize eden kişi, kesinlikle aşırı uyum yapmıştır. Bizim sınırımız: 3-4 serbest parametre; geri kalan her şey sabit ve mantıkla (rastgele değil, "neden" sorusuna cevapla) belirlenmiş.

Parametre yüzeyi

Parametreyi tek bir "en iyi" değerde bırakmak yerine komşularına bakın. EMA 23 harika, 20 kötü, 26 kötü ise 23 bir tepe değil, iğnedir; gürültüye uyum. EMA 18'den 28'e kadar hepsi benzer ve makul sonuç veriyorsa strateji o parametreye hassas değildir; sağlamdır. İki parametreyi birlikte ızgara olarak test edip sonucu ısı haritası gibi okumak, iğneleri ve platoları görünür kılar. Plato'nun ortasındaki değeri seçin, en yüksek noktayı değil.

Örneklem içi ve dışı

Veriyi ikiye bölün: örneklem içi (in-sample) kısımda strateji geliştirilir ve parametreler seçilir; örneklem dışı (out-of-sample) kısma hiç bakılmaz, en sonda bir kez test edilir. Örneklem dışı sonuç, örneklem içinin makul bir kısmıysa (%50-80) strateji sağlamdır; belirgin biçimde kötüyse aşırı uyum vardır.

Örneklem dışı veriye "bir kez" bakmak önemli: kötü çıkınca parametreleri değiştirip tekrar test ederseniz örneklem dışı veri artık örneklem içine dönüşmüştür. Yeni bir örneklem dışı dönem gerekir. Bu yüzden veriyi başta üçe bölmek pratik: geliştirme, doğrulama, son test.

Yürüyen pencere (walk-forward): daha sistemli hâli. 2 yıl geliştirme, sonraki 6 ay test; pencereyi 6 ay kaydır, tekrarla. Her adımdaki örneklem dışı sonuçları birleştirince, stratejinin "yeniden ayarlanarak" ilerlediğinde nasıl davranacağını görürsünüz. Parametrelerin her pencerede çok değişmesi kötü işarettir; azıcık değişmesi normal.

Monte Carlo

Backtest, işlemlerin gerçekleştiği tek sırayı gösterir. Aynı işlemler farklı sırada gelseydi drawdown farklı olurdu. Monte Carlo simülasyonu, işlem sonuçlarını binlerce kez rastgele karıştırıp her sıralamanın sermaye eğrisini çizer; sonuç, drawdown'ın dağılımıdır. "%95 olasılıkla en derin drawdown 14R'nin altında" gibi bir cümle, tek backtest'in "en derin drawdown 8R'ydi" cümlesinden çok daha faydalıdır ve boyutlandırmayı buna göre yaparsınız.

Bir de işlemlerin bir kısmını rastgele silerek (ör. %10) tekrar simüle edin; strateji, birkaç işlemi kaçırdığınızda çöküyorsa birkaç şanslı işleme bağımlıdır.

Komşu testleri

Strateji EURUSD'de çalışıyorsa GBPUSD'de ne yapar? Aynı olmasa da makul olmalı; tamamen çökmesi şüphelidir. 15 dakikalıkta çalışıyorsa 30 dakikalıkta? Seans 10:00-13:00 ise 10:30-13:30? Sağlam bir strateji, komşu koşullarda "biraz daha kötü" olur; aşırı uyumlu strateji "tamamen farklı" olur. Bu testler, parametre yüzeyi mantığının piyasa ve zaman boyutuna taşınmasıdır.

Çok iyi görünüyorsa

Refleks hâline getirin: profit factor 3'ün üstü, drawdown %5'in altı, kazanma oranı %80'in üstü gibi sonuçlar önce şüphe, sonra sevinç. İlk aranan hata ileriye bakma; ikincisi aynı mumda stop/hedef çözümü; üçüncüsü maliyet eksikliği; dördüncüsü aşırı uyum. Bu dördü temizlendikten sonra hâlâ iyi görünüyorsa örneklem dışına gidin.

Aşırı uyumun panzehiri, daha az parametre ve daha çok veridir; daha akıllı optimizasyon değil. Basit, "neden çalıştığını" anlatabildiğiniz, komşu koşullarda da ayakta kalan bir strateji, karmaşık ve mükemmel ayarlanmış bir stratejiden neredeyse her zaman daha uzun yaşar.