Yeni bir araştırmaya göre, yapay zeka ile daha az yaygın dillerde iletişim kuran kullanıcılar, İngilizce veya diğer baskın dilleri kullananlara göre daha fazla ödeme yapıyor olabilir.
ROW'un haberine göre bunun nedeni, yapay zeka modellerinin metni işleme biçimi. Bazı diller, modelin işlediği temel veri birimleri olan token'lardan önemli ölçüde daha fazlasını gerektiriyor; bu da token başına ücretlendirilen hizmetlerde maliyetleri artırıyor.
Yapay Zekada Dil Eşitliği Koalisyonu araştırmacıları bu sorunu gizli "tokenizasyon vergisi" olarak adlandırıyor. Bunun sonuçları yalnızca maliyetle sınırlı kalmayıp, aynı zamanda çalışma hızını ve modelin aynı anda işleyebileceği bilgi miktarını da etkiliyor.
Tokenizör, metin, görsel veya ses gibi girdi içeriğini yapay zeka modelinin işleyebileceği birimlere ayıran bir araçtır.
Geçtiğimiz ay yayınlanan bir araştırma, internette en çok konuşulan ilk 20 dil arasında bile farklar olduğunu gösterdi. En çok talep eden diller, en ekonomik olanlara kıyasla 1,5 ila 5 kat daha fazla token harcadı.
Analiz 200 dile genişletildiğinde farklılıklar daha da belirginleşti. Bir modelde maliyet oranı 17'ye 1'e ulaştı.
Çalışmada, "Bengaluru'daki bir girişim her sorgu ve yanıt için ek maliyet ödemek zorunda kalabilirken, Austin'deki rakibinin böyle bir zorunluluğu yok" deniliyor.
Yazarlar, daha fazla token sayısının aynı zamanda yanıta ulaşmak için daha uzun bekleme süresi ve içerik işleme için daha küçük etkili alan anlamına geldiği konusunda uyarıyor.
"Bu sonuçlar en çok bilişim kaynaklarının ve bağlantının zaten sınırlı olduğu çevreleri vuruyor. Tokenizasyon eşitsizliği, yapay zekâ ekonomisine kimin katılabileceğini sınırlandırıyor."
Yalnızca yapay zekaya yatırım yapan Activate AI fonunun kurucu ortağı Pratyush Choudhary, daha fazla token tüketen dillerin belgeler ve sohbet geçmişi için daha az yer bıraktığını açıkladı.
Fon, ElevenLabs, Sarvam ve Wispr Flow dahil olmak üzere çok dilli sesli yapay zeka şirketlerini destekliyor.
Choudhary, kaliteli bir çalışma için öğrencinin geçmiş hatalarını ve açıklamalarını akılda tutmanın önemli olduğu dijital bir öğretmeni örnek gösterdi.
"Öğretmeni düşünün: öğrencinin önceki hatalarını ve açıklamalarını hatırlamak kaliteli öğretimin bir parçasıdır. Bu geçmiş bir dilde bağlam penceresini çok daha hızlı tüketirse, eksiklik hizmet kalitesine de yansır" dedi.
Bağlam penceresi, modelin yanıt verirken aynı anda dikkate alabileceği içerik miktarını temsil ediyor.
Dil işlemeyi iyileştirmenin yollarından biri de sistemlerin üzerinde geliştirildiği verileri iyileştirmektir.
Mumbai merkezli Navana.ai şirketinin kurucu ortağı ve direktörü Rahul Nanavati, Rest of World için açık veri setlerinin önemini vurguladı.
Nanavati, "Gates Vakfı tarafından finanse edilen ve Hindistan Bilim Enstitüsü ile ortak bir proje olan RESPIN gibi girişimler önemlidir. Burada 38 lehçenin ana dili konuşmacılarının metinlerini, okunan konuşma kayıtlarıyla birlikte topladık" dedi.
Ancak araştırma, konuşmacı sayısının ve mevcut içerik miktarının tek faktör olmadığını gösteriyor. Alfabenin de büyük bir rolü var.
Asturyaca, nispeten az sayıda konuşmacısına ve analiz kapsamına alınan Common Crawl derlemesinde veri bulunmamasına rağmen, Latin alfabesinin avantajlarından ve İtalyanca gibi ilgili Romen dillerinin yaygınlığından yararlanıyor.
Buna karşılık, tokenizörlerin çok nadiren karşılaştığı alfabelerle yazılan diller, analize tabi tutulan neredeyse tüm modellerde en dezavantajlı konumda yer aldı. Bunlar arasında Birmanya ve Tibet alfabeleri, Tifinagh, Kmerce ve Laos alfabeleri ile Ol Chiki yer alıyor.
Mega düzeydeki birçok günümüz tokenizörü orantısız bir şekilde [metinleri işlemekte zorlanmaktadır.]