Esti Gar Einai

Kendi LLM modelimi geliştirip Türkçe olarak eğitirken Türkçe'nin yapısı, sıfırdan Türkçe LLM geliştirmek ve eğitmekle ilgili çok fazla şey öğrendim. Kısaca Türkçe LLM'e nasıl bakmalıyız paylaşmak istiyorum. Türkçe sondan eklemeli (agglutinative) bir dil ve yüklem sonda olduğu için (gecikmeli anlamsal çıkarım) bir beklenti (anticipation) dilidir yani bu sadece kültürel değil tamamen morfolojik ve sözdizimi kaynaklı bir durum. Örnek verecek olursam; İngilizcede yüklem başta söylenir "I love you because ..." fakat Türkçe'de anlamın tamamlanması için cümle sonuna kadar beklememiz gerekiyor. "Seni etkilemek için söylemiyorum ve gerçekten seni seviyorum" Model bu durumda cümle tamamlanana kadar bir beklenti halindedir. Bu durumu Robert Plutchik'in 8 duygu modelinde ki "Beklenti" duygusunu işlerken fark ettim. Promptlar 'da beklenti duygusu çoğunlukla çok daha yüksek değer alıyordu. Beklenti içerecek bir prompt girdiğimi düşünmüyordum tabi. Durum düşündüğüm gibi değilmiş! Ayrıca; morfolojik yoğunluk çok önemli bir durum. Bir kelimeye eklediğimiz ekler (-ebilmek, -miş, -se gibi) ttüm cümlenin intent ve emotional tonunu bir anda değiştirebiliyor. Bu eklerde modelin Attention mekanizmasının (TanAI'da GQA) daha yüksek öncelikle çalışması gerekiyor. Peki kullandığımız modeller ChatGPT, Grok, Gemini gibi modellerin Türkçe ile ilgili bir sorunu var mı? Evet var nedeni ise bu modeller her ne kadar Türkçe biliyoruz deselerde İngilizce-Merkezli Tokenizer ve düşünme yapısına sahipler. Bu modeller promptu genelde bir "interlingua" 'ya (genel ingilizce kavram setine - bu şekilde eğitildikleri için) çevirerek cevap üretirler ve sonuç olarak Türkçenin morfolojik niyet/duygu nüansları yuvarlanabilir. Ek olarak İngilizce'de duygu genelde sıfatlarla verilirken, Türkçe'de fiil çekimleriyle verilir. Bu yüzden bu modeller net duyguyu yakalamakta zorlanırlar. Promptumuza ek olarak duyguyu eklememiz gerekebilir. Bu yüzden o büyük modeller bile Türkçe'de yapay kalabiliyor. İşin özü bir modeli eğiteceğimiz zaman (transformerdaki Attention mekanizmasını optimize etmeyi geçtim) Tokenizer ve Encoder 'ımızı yeniden eğitmemiz gerekiyor. Mevcut bir ingilizce eğitilmiş tokenizer yada encoder ile modeli sıfırdan eğittiğimizde Türkçe net olarak öğrenilmez ve yukarıda ki sorunlar çıkabilir. Tabi modellerin Türkçe konuştuğunu sanıyoruz hepimiz ama işin derinlerinde ki duygu/niyet sekansları böyle çalışmıyor. Bir dil bilimci değilim tabi ki sadece mimariyi geliştirirken gözlemlediğim sıkıntıları paylaştım Türkçe ile ilgili olarak. Bir dil bilimci bu duruma daha iyi yorum getirebilir.