Yapılan yeni bir araştırma, Çinli yapay zeka laboratuvarı DeepSeek’in OpenAI ve Anthropic gibi ABD'li rakipleiyle aradaki farkı düşük maliyetli yaklaşımıyla kapatmasına yardımcı olan bellek tasarrufu teknolojisindeki potansiyel bir kusuru gün yüzüne çıkardı ve bu başarıya yönelik nadir meydan okumalardan birini oluşturdu.
Bulgular, geçtiğimiz ayın sonlarında ByteDance araştırmacılarının liderliğinde, Princeton Üniversitesi, Stanford Üniversitesi ve Kaliforniya Üniversitesi, Berkeley'den ortak yazarların katılımıyla bir makalede yayımlandı.
Henüz akran değerlendirmesinden (hakem incelemesinden) geçmeyen çalışma, DeepSeek’in uzun girdileri işlemek için gereken belleği azaltma çabalarının güvenilirlik pahasına olabileceğini, zira modellerin bir belgede belirli konumlarda yer alan aynı bilgileri gözden kaçırma olasılığının daha yüksek olduğunu belirtti.
Makalede, "Bu olgu DeepSeek-V4, V4.1 ve ön eğitime tabi tuttuğumuz tüm sıkıştırılmış modellerde ortaya çıkıyor" denildi.
Araştırmacılar, çeşitli DeepSeek modellerini yaklaşık 128.000 tokenlik —on binlerce kelimeye eşdeğer— uzun bağlamlardan bilgi alma yetenekleri açısından test etti. Amiral gemisi DeepSeek-V4 model ailesinin bilgi getirme (retrieval) doğruluğunun yüzde 40'a varan oranlarda değişiklik gösterebileceğini keşfettiler.
Araştırmacılar bu dalgalanmaları, DeepSeek'in daha sonra geri çağrılmak üzere depolamadan önce bilgileri nasıl grupladığı ve sıkıştırdığıyla ilişkilendirdi. Teknik bellek tasarrufu sağlasavolatile de, sıkıştırılmış segmentler içinde nereye düştüklerine bağlı olarak belirli detayların kurtarılmasını zorlaştırabiliyor.
Bir örnekte, aynı bilgisayar kodu parçasından önce alakasız metin eklenmesi, DeepSeek’in doğru yanıtı seçme yeteneğini zayıflattı ve girdideki küçük gibi görünen değişikliklerin bile performansını nasıl etkileyebileceğini gösterdi.
Araştırmacılar, bulgularının sorunun gerçek dünya uygulamalarını ne sıklıkla etkilediğine dair kapsamlı bir değerlendirmeden ziyade, kontrollü deneylere ve sınırlı sayıda kodlama örneğine dayandığı konusunda uyardı.
DeepSeek ve ByteDance yorum taleplerine yanıt vermedi.
DeepSeek, maliyet verimliliğini teknolojisinin merkezi bir satış noktası haline getirdi; bu yaklaşım, Hangzhou merkezli şirketin, rekabetçi yapay zeka sistemleri geliştirmek için gereken devasa bilişim kaynakları hakkındaki varsayımlara meydan okuyarak uluslararası üne kavuşmasına yardımcı oldu.
Bu tür iyileştirmeler, gelişmiş ABD yarı iletkenlerine erişimde kısıtlamalarla karşı karşıya kalan ve daha sınırlı bilişim kaynaklarıyla rekabetçi performans sunma konusunda artan baskı hisseden Çinli yapay zeka geliştiricileri için özellikle önem taşıyor.
Ancak geliştiriciler modellerini hem daha yetenekli hem de çalıştırması daha ucuz hale getirmek için yarışırken, bulgular verimliliği güvenilirlikle dengelemedeki bir zorluğun altını çiziyor; özellikle de uzun belgelerden veya yazılım kodlarından doğru bilgi alınmasını gerektiren uygulamalar için.
Ben Jiang'ın ek katkılarıyla.