Tuncay | 👋 Bye Bye Tabs

Kiedyś i dziś.

izin ver ağırlıkları koparayım ya resulallah?* bi neural network'ün içine baksanız ne görürsünüz? binlerce, büyük modellerde milyarlarca sayı. bunlara ağırlık (weight) deniyor ve modelin bildiği her şey bu sayılarda saklı. ama hangi sayının ne işe yaradığını okumak neredeyse imkansız, o yüzden bu modellere black box diyoruz. eğitirken de bu sayılara elle dokunmuyoruz. modele örnekler gösteriyoruz, backpropagation her sayının hataya ne kadar katkı yaptığını hesaplıyor, gradient descent de sayıları hatayı azaltacak yöne azıcık itiyor. bunu milyonlarca kere tekrarlayıp gpu’larınızı ateşe veriyoruz falan. peki bi llm'e bu weightleri yani sayıları verip "oku bakalım kızım, bu network ne yapıyor, düzelt, hatta sıfırdan sen yaz" desek ne olur? işte mit csail'den dört araştırmacı abimiz bunu denemiş, adına da weight-space programming demişler. aralarında dspy'ın babası omar khattab da var. bu abimiz önce prompt'ları programlanabilir yaptı, şimdi sıra ağırlıklara gelmiş. izin ver ağırlıkları değiştireyim ya resulallah? bu feyyizli abiler gpt-6 astra'ya network'lerin ağırlıklarını vermişler: küçüklerde düz metin olarak, büyüklerde python'la kurcalayabilecekleri bi ortam vermişler. gradient yok, optimizer yok, bazı deneylerde network'ü çalıştırmak bile yasakmış. sonra üç şeyi test etmişler: okuyabiliyor mu, düzeltebiliyor mu, sıfırdan yazabiliyor mu? okumada, dört farklı oyunu oynamayı öğrenmiş, aynı yapıdaki dört network'ü vermişler ama oyunların isimlerini söylememişler. astra sadece sayılara bakıp dördünü de doğru bilmiş. en sevdiğim detay da şu: şekil çizen üç küçük diffusion modelini (gürültüden resim üreten model) hiç çalıştırmadan okumuş. daire, kare, üçgen diye doğru bilmiş, ama hepsini içi boş çizmiş, oysa modeller içi dolu şekil üretiyormuş. yazarlara göre astra sonucu hesaplamıyor, sayıların geometrisinden şeklin sınırlarını okuyomuş. yani resme değil, resmin planına bakıyormuş. düzeltme kısmı ise şöyle: 1 milyar step eğitilmiş ama 256 denemenin hiçbirinde rampayı geçemeyen bi araba network'ü varmış. local minimum'a takılmış, yani rampaya dümdüz gidip saplanmayı en iyi çözüm sanıp orada kalmış. astra tek denemede, hiç araç kullanmadan ağırlkların yüzde 3.5'ini değiştimiş, araba da 1024 denemenin hepsinde geçmiş. qwen3.5-0.8b gibi küçük bi dil modeli de düşünürken döngüye girip cevapların yüxde 93'ünde sınıra dayanıyormuş. astra bu döngünün sebebini modelin içinde tek bi yöne kadar takip edip silmiş, hem de ağırlıkların sadece yüzde 0.016'sına dokunarak. modeli 50 kere çalıştırıp denemesine izin verilince math-500 skoru yüzde 7.9'dan yüzde 48.1'e çıkmış. yazmada ise ağırlıklar sıfırdan başlıyor. astra'ya sadece minatar oyunlarının (atari oyunlarının küçültülmüş versiyonları) kurallarını ve kodunu vermişler, o da network'ü tek seferde yazmış. breakout'ta 500 milyon adım eğitilmiş ppo'nun (deneme yanılmayla oyun öğrenen standart yöntem) yaklaşık 20 katı skor yapmış, ama seaquest'te aynı ppo'nun gerisinde kalmış. tabii bazı modelleri iyileştiremediği de olmuş. mesela gemma'yı da iyileştirememiş, çünkü o zaten pek döngüye girmiyormuş. neyse sonuçta yazarların söylediği şey şu: ağırlıkları düzenlemek bi sorunu ve küçük modelin takıldığı bi problemi çözmeye yarayabilir ama olmayan bi yeteneği ekleyemez. qwen'deki sıçrama da ancak 50 denemede gelmiş, 10 ve 25 denemede skor yüzde 12-14'te kalmış. eğer bu yöntem daha da geliştirilirse modeli hiç çalıştırmadan içine gizlenmiş backdoor'ları bulmak, veri kullanmadan bi şeyi unutturmak, en uçta da kendi ağırlıklarını düzelten modeller mümkün olabilir.

🇹🇷 EL tema de la #COP31 es la pésima organización -si la hubo- del transporte para llegar y volver del predio. En 12 años cubriendo COP, jamás vi algo tan desastroso. Y estamos trabajando 24/7, no de vacaciones Ej: debería llevarme 1 hora en llegar y hoy me tomó casi 3 horas.

I got a 1.9B model to watch a restaurant camera and tell staff which tables need cleaning 🍽️ It runs on my laptop. No cloud, and it generates zero tokens. Built over a weekend with @liquidai d1-2B

Dude, you need to try t3code I'm melting here, it hasn't crashed in weeks.