Türkçe neden kendi tokenizer’ını ister

Türkçe ek üstüne ek bindirir: ev, evler, evlerimiz, evlerimizdekiler. Genel amaçlı tokenizer’ların çoğu bu kelimeleri dört beş bayt parçasına böler. Her parça bir token demektir; her token da gecikme ve para.

Verginin rakamı

Kendi test kümemizde aynı paragraf Türkçe ve İngilizce olarak şöyle maliyetleniyor:

• İngilizce, genel tokenizer: 118 token
• Türkçe, genel tokenizer: 214 token
• Türkçe, Yiğido tokenizer: 141 token

Yani aynı anlam için %34 daha az üretilen token — kabaca hem faturanın hem de son token’a kadar geçen sürenin üçte biri.

Nasıl elde ettik

1. Türkçe öncelikli bir derlemle eğitilmiş çekirdek sözlük; İngilizce ağırlıklı bir sözlüğe Türkçe serpiştirilmiş hâli değil.
2. Yaygın hâl, zaman ve iyelik eklerini bir arada tutan son ek farkındalıklı birleştirmeler.
3. Birleştirme seçiminde ünlü uyumu ihlaline sert alt sınır.

Tokenizer ağırlıklarla birlikte yayınlanıyor; kendi derleminizle gelip iddiayı kendiniz doğrulayabilirsiniz.