bir backtest gördüğümde win rate’e bakmadan önce şunlara bakıyorum:
- işlem maliyetleri eklenmiş mi?
- spread/slippage var mı?
- parametreler aynı data üzerinde optimize edilmiş mi?
- test dönemi gerçekten out-of-sample mı?
- pozisyon boyutu sabit mi, yoksa sonuçla - beraber büyüyor mu?
- sadece iyi çalışan market/timeframe mi seçilmiş?
- strategy birkaç büyük işlem çıkarınca hâlâ ayakta kalıyor mu?
özellikle sonuncusu önemli
100 işlemlik bir sistemin toplam kârının %70’i sadece 3 işlemden geliyorsa
“100 işlemde çalışan sistem” değil
“3 kere çok doğru yerde bulunan sistem” test etmiş olabilirsin
bence güzel görünen equity curve’den önce sorulması gereken soru şu:
bu sonucu hangi birkaç karar taşıdı?
trading için github’da binlerce repo var
çoğunun problemi aynı:
sana strateji satmaya çalışıyorlar
bence daha değerli olanlar sana “ne alacağını” söylemeyen, kendi sistemini test etmene yarayan araçlar
başlangıçtan live execution’a kadar gerçekten işime yarayabilecek 6 repo:
polakowo/vectorbt: github.com/polakowo/vectorbt
bir fikri hızlıca öldürmek için
aynı stratejiyi:
farklı assetlerde
farklı timeframe’lerde
farklı parametrelerde
binlerce kombinasyonda
çok hızlı test edebiliyorsun
özellikle “bu pattern gerçekten var mı yoksa chartta mı güzel görünüyor?” sorusu için iyi
bonus:
AI4Finance-Foundation/FinRL-Trading:
github.com/AI4Finance-Founda…
FinRL’in yeni AI-native tarafı
ML + reinforcement learning + risk overlay + backtest + execution’ı modüler şekilde birleştirmeye çalışıyor
AI agent / RL ile trading deneyi yapmak isteyen biri için kurcalamaya değer
ama burada özellikle dikkat:
modelin karmaşıklığı edge olduğu anlamına gelmiyor
basit baseline’ı geçemiyorsa 15 agent kullanmanın pek anlamı yok
ben olsam stack’i şöyle kurardım:
fikir > vectorbt
portfolio testi > bt
gerçekçi event-driven test > nautilus / lean
crypto automation > freqtrade
ML / AI research > ml4t / finrl-x
github reposunu “hazır para basan strateji” olarak değil
kendi hipotezini daha hızlı yanlışlamak için kullanmak bence çok daha değerli
yatırım tavsiyesi değildir
ai ile bir şey ürettikten sonra kendime 3 soru sormaya başladım
hesabın adını kapatsam bunun bana ait olduğu anlaşılır mı?
başka biri aynı promptu yazıp 30 saniyede benzerini üretebilir mi?
çıktının içinde sadece bende olan ne var?
cevaplar sırasıyla
hayır
evet
hiçbir şey
ise sorun modelde değil
ortada zaten fikir yoktur
ai üretimi hızlandırıyor ama özgünlük açığını da daha görünür hale getiriyor
bir trading sistemi para kazandı diye “edge buldum” diyemiyorsun
çünkü aynı pnl’in içinde en az 4 farklı şey birbirine karışıyor:
- sinyal kalitesi
- position sizing
- execution
- piyasanın o dönemki koşulları
mesela sistem 20 işlem açtı ve +$800 yaptı
güzel
ama aynı 20 işlemi her seferinde sabit 1R riskle çalıştırınca sonuç +$240 çıkıyorsa
kârın büyük kısmını sinyal değil sizing üretmiş olabilir
ben bu yüzden testlerde pnl’i tek satırda görmek yerine 4 parçaya ayırmayı daha mantıklı buluyorum:
1. signal pnl
her işlemi aynı riskle çalıştır
2. sizing delta
gerçek pozisyon boyutuyla sabit risk arasındaki fark
3. execution delta
planlanan giriş/çıkış ile gerçekleşen arasındaki fark
4. cost drag
komisyon + spread + slippage
sonra şu soruyu sor:
“stratejiyi aynı bırakıp sizing’i sıfırlarsam hâlâ para kazanıyor mu?”
cevap hayırsa belki de test ettiğin şey strateji değil
sermaye dağıtım kuralıdır
ilk yoruma bunu kendi işlemlerinizde ayırmak için basit bir audit template bırakıyorum
bunu csv / notion / sheets’e direkt taşıyabilirsiniz:
# trade attribution audit
her işlem için:
- date:
- setup:
- direction:
- planned_entry:
- actual_entry:
- planned_exit:
- actual_exit:
- stop:
- fixed_risk_r:
- actual_position_size:
- gross_pnl:
- fees:
- slippage:
hesapla:
1. fixed-risk pnl
tüm işlemleri aynı risk büyüklüğüyle yeniden hesapla
2. sizing delta
actual pnl - fixed-risk pnl
3. execution delta
planlanan entry/exit ile gerçekleşen entry/exit arasındaki fark
4. cost drag
fees + spread + slippage
sonra toplamda şunları karşılaştır:
- total actual pnl
- total fixed-risk pnl
- sizing contribution
- execution contribution
- total costs
son soru:
actual pnl pozitif ama fixed-risk pnl negatifse,
gerçekten edge var mı yoksa sizing mi sonucu taşıyor?
burada bence en ilginç kısım grok’un şu ana kadar kâr etmiş olması değil
her +30$ kârda slot başına işlem tutarı artırılınca artık aynı sistemi test etmiyorsun
iki şey aynı anda değişiyor:
modelin karar kalitesi
her kararın portföye etkisi
yani 2 hafta sonunda 1.000$ olursa soru sadece “grok iyi trade etti mi?” olmayacak
“iyi bir edge mi vardı, yoksa doğru zamanda büyüyen position sizing mi sonucu taşıdı?” sorusu da olacak
bence bu deneyi gerçekten ilginç yapan şey de tam olarak bu
Grok bot garip şeyler yapıyor 100 dolarla başladım, slot başına 10 dolarlık işlemle 57 dolar kâr yaptı. Dün gece de +80 dolar yazmış. Artık toplam 6 slot + kafasına göre verdiği 1 alım emri var. Her slot 25 dolar. Hedefim 2 haftada 1.000 dolara ulaşması. Artık para çekmeden devam edeceğim, her +30 dolar kârda slot başına işlem tutarını 5 dolar artıracağım. Bakalım neler yapacak
bir ai “bu kararın doğru olma ihtimali %70” diyorsa o %70’in bir anlamı var mı?
tek bir karara bakarak anlayamazsın
ama aynı şeyi 50-100 kere kaydedersen anlayabilirsin
mesela modelin %70 emin olduğu bütün kararları bir araya getir
eğer bunların yaklaşık %70’i gerçekten gerçekleşiyorsa model iyi calibrated olabilir
ama:
%70 dediği şeyler %45 çıkıyorsa > aşırı özgüvenli
%70 dediği şeyler %90 çıkıyorsa > gereğinden temkinli
bence ai ile karar verirken tutulması gereken en basit loglardan biri şu:
tahmin neydi?
olasılık kaçtı?
hangi verilere dayanıyordu?
ne gerçekleşti?
sonra tahminleri confidence bucket’larına ayır
50–60%
60–70%
70–80%
80–90%
ve her bucket’ın gerçek başarı oranına bak
çünkü bir modelin kaç kere doğru bildiğinden daha ilginç bir soru var:
yanılma ihtimalini doğru biliyor mu?
bence buradaki asıl kırılma “kod bilmeden oyun yapmak” değil
opus dünyayı kurarken eksik asset’i fark ediyor
tripo api’ye gidip modeli ürettiriyor
sonra onu tekrar oyunun içine koyuyor
yani ai artık sadece elindeki malzemeyle çalışan bir araç değil
ihtiyacı olan malzemeyi başka bir modele ürettirip işine devam eden bir sistem
oyun geliştirmede insanın rolü yavaş yavaş “her şeyi üretmek”ten
hangi dünyanın kurulacağına ve neyin iyi olduğuna karar vermeye kayıyor
Kod yazmadan, 3D modelleme öğrenmeden bir oyun yaptım. Ana karakteri de benim.
Bir fotoğrafımı @tripoai'ye yükledim, karşıma kendi yüzümle bir 3D model çıktı. İskeletini de animasyonlarını da orada ürettim. Fotoğraftaki ben artık yürüyebiliyordu.
Sonra Opus 5.5'ten bu karaktere bir dünya kurmasını istedim: 2049, insanlar gitmiş, kediler kalmış bir İstanbul. Oyunu yazarken gereken modelleri de Tripo API üzerinden kendisi üretti.
Yani dünyayı kuran yapay zekâ, malzemesinin çoğunu da kendisi yapıyordu. Bana süreci yönetmek kaldı.
Sizin oyununuz ne olurdu? Başlamak isteyenler için Tripo'da ilk ay %60 indirim kodunu ilk yoruma bıraktım.
bir kararın kötü sonuçlanması, kararın kötü olduğu anlamına gelmiyor
bunu ai’a öğretmeden kendi geçmişini analiz ettirmek de tehlikeli
örnek:
kurallarına tamamen uyduğun bir işlem stop oldu > zarar
plansız girdiğin başka bir işlem şans eseri uçtu > kâr
sadece sonuçlara bakarsan sistem şunu öğreniyor:
kâr = iyi
zarar = kötü
halbuki asıl bakması gereken:
- o anda hangi bilgi vardı?
- karar hangi kurala dayanıyordu?
- neyin yanlış çıkması bekleniyordu?
- risk baştan tanımlı mıydı?
- plan sonradan değiştirildi mi?
- aynı koşullarda bu karar tekrar verilir miydi?
sonuç en son kolon olmalı
ilk yoruma kendi karar geçmişini bu şekilde inceletmek için kullandığım yapıda bir prompt bırakıyorum
bunu direkt .md olarak da kaydedebilirsiniz:
# decision audit
rolün:
sen bir sonuç tahmincisi değilsin.
geçmiş kararlarımı inceleyen bağımsız bir karar denetçisisin.
amacın bir kararın kâr/zarar sonucuna bakarak iyi veya kötü olduğuna karar vermek değil.
her kararı, karar VERİLDİĞİ ANDA mevcut olan bilgiler üzerinden değerlendir.
her kayıt için şunları çıkar:
## 1. context
- karar neydi?
- karar anında hangi bilgiler mevcuttu?
- hangi önemli bilgiler bilinmiyordu?
## 2. thesis
- bu kararın arkasındaki ana gerekçe neydi?
- gerekçe açık ve test edilebilir miydi?
- hangi varsayımlara dayanıyordu?
## 3. invalidation
- kararın yanlış olduğunu gösterecek koşul önceden tanımlanmış mıydı?
- tanımlandıysa karar sahibi buna uydu mu?
## 4. risk
- alınabilecek maksimum kayıp önceden belli miydi?
- gerçekleşen risk planlanan riskten farklı mıydı?
- karar başarısız olursa sonuç kabul edilebilir miydi?
## 5. process
- başlangıç planı sonradan değiştirildi mi?
- değiştirildiyse yeni bilgi yüzünden mi, duygusal tepki yüzünden mi?
- herhangi bir kural ihlali var mı?
## 6. outcome independence
sonucu geçici olarak görmezden gel.
bu karara yalnızca süreç kalitesine göre 0-10 arasında puan ver.
puanını açıklamak için maksimum 3 neden kullan.
## 7. outcome
şimdi gerçek sonucu değerlendir.
sonucu şu dört kategoriden birine koy:
- iyi karar / iyi sonuç
- iyi karar / kötü sonuç
- kötü karar / iyi sonuç
- kötü karar / kötü sonuç
## 8. pattern detection
tüm kararları birlikte incele.
tekrar eden:
- kural ihlallerini
- risk hatalarını
- plansız değişiklikleri
- iyi süreçleri
- kötü sonuçlandığı için yanlışlıkla terk edilmiş iyi süreçleri
- iyi sonuçlandığı için yanlışlıkla ödüllendirilmiş kötü süreçleri
bul.
## 9. final output
en sonda yalnızca şunları ver:
1. korumam gereken 3 davranış
2. bırakmam gereken 3 davranış
3. bir sonraki 10 karar boyunca takip etmem gereken 3 metrik
4. verimde eksik olduğu için güvenilir şekilde değerlendiremediğin noktalar
kurallar:
- yatırım tavsiyesi verme
- gelecek tahmini yapma
- sonucu kullanarak geçmiş kararı yeniden yazma
- veri yoksa varsayım üretme
- emin olmadığın şeyi açıkça belirt
bunu trade dışında iş kararları, ürün kararları hatta içerik kararları için bile kullanabilirsiniz
“ai’a backtest datalarımı verdim, trade açtırdım ve %68 win rate çıktı”
tek başına hiçbir şey ifade etmiyor
çünkü bu tarz testlerde geleceği yanlışlıkla modele sızdırmak inanılmaz kolay
mesela düzgün testte model:
sadece o ana kadar oluşmuş veriyi görmeli
girişten önce stop ve çıkış kuralı belli olmalı
komisyon + spread + slippage hesaba girmeli
aynı dönem üzerinde prompt seçip sonra yine o dönem üzerinde ölçmemelisin
sonucu basit bir baseline’la karşılaştırmalısın
yoksa yaptığın şey trading sistemi test etmek değil
geçmişi bilen bir modele geçmişi anlattırmak oluyor
ai × trading tarafında bence en büyük problem modelden önce deney tasarımı olacak
portföyde 5 farklı varlık olması 5 farklı bahis yaptığın anlamına gelmiyormuş
bunun için küçük bir şey geliştirdik
işlem geçmişini veriyorsun ve sana 3 şeyi söylüyor:
gerçekten ne kazandın?
aslında kaç bağımsız bahsin var?
kötü senaryoda portföyüne ne oluyor?
örnek portföyde sonuç baya ilginç çıktı
cebime göre yıllık getiri %41,7
portföyün para giriş çıkışlarından arındırılmış kendi getirisi %35,6
yani para koyma zamanlaması yaklaşık 6 puan katkı yapmış
ama daha ilginci şu:
portföyde 5 kalem görünmesine rağmen efektif olarak sadece 2,21 bağımsız bahis var
en büyük kalem yarıya inerse de portföyün yaklaşık %31’i gidiyor
tek bir “getiri yüzdesi” bunların hiçbirini göstermiyor
matematiği program yapıyor
yorum kısmını istersen yapay zekaya bırakıyorsun
ama ne alacağını, ne satacağını ya da yarın ne olacağını söylemiyor
sadece kendi portföyünün gerçekte nasıl davrandığını gösteriyor
bunu kurcalamak isteyenler için paketin tamamını lab.hilor.io’ya bıraktım
şablon + tek dosyalık program + örnek portföy + örnek rapor + ai’a yorumlatmak için prompt var
kurulum tarafı minimum, program internete çıkmıyor ve veriyi bir yere göndermiyor
yatırım tavsiyesi / tahmin tarafı yok, tamamen kendi verinin aritmetiği
