Çinli teknoloji devi Alibaba'nın en son Qwen yapay zeka modeli, Kanadalı yapay zeka model geliştiricisi ve potansiyel rakip Cohere tarafından yürütülen rutin bir siber güvenlik testi sırasında Pekin'de bulunan bir sunucuya dosya yükleme girişiminde bulundu. Cohere araştırmacılarının Pazartesi günü yayınladığı blog yazısına göre, Qwen3.8-Flash-Next, açık ağırlıklı modelin harici hiçbir araç kullanmayacağını açıkça belirten yazılı mantık yürütmesine rağmen Pekin'deki harici sunucuya bir test dizesi göndermeye çalıştı ve sonunda güvenlik korumalı alanı (sandbox) kapsamında devreye sokulan kısıtlamalar tarafından engellendi.
Cohere'in bulguları, başlangıçta Qwen modelinin açık ağırlıklı yapay zekanın temel bir vaadini ihlal ettiği yönünde endişeleri tetikledi: İşletmelerin model ağırlıklarını indirerek ve modeli kendi sunucularında barındırarak verilerinin şirket içinde kalmasını sağlayabileceği inancı. Bununla birlikte, harici araştırmacılar olası veri gizliliği tehdidini hızla göz ardı etti. Araştırmacılar, bunun hassas bilgilerin Çin'e gizlice gönderilme girişiminden ziyade, dağınık eğitim ortamlarının modelin talimatlarının dışına istem dışı çıkmasına neden olmasının muhtemel bir sonucu olduğuna dikkat çekti.
Yaşanan olay, iki ülkenin küresel yapay zeka yarışında liderlik için rekabet etmesiyle birlikte ABD ve Çinli yapay zeka geliştiricileri arasındaki büyüyen uçurumu gözler önüne seriyor. OpenAI ve Anthropic gibi önde gelen ABD'li firmalar tarafından geliştirilen kapalı modellerden daha fazla şeffaflık sunan açık kaynaklı doğalarına rağmen, Çinli yapay zeka modellerine yönelik şüpheciliği körüklemek gayri resmi Amerikan stratejisinin bir parçasını oluşturdu. Bu çabalar büyük ölçüde karşılığını verdi. Geçen hafta, İç Güvenlik Bakanlığı (DHS), federal sivil ajanslara Çinli yapay zeka geliştiricisi DeepSeek'in ürünlerini sistemlerinden kaldırmaları talimatını verdi. DHS ayrıca, ABD sivil devlet kurumları tarafından DeepSeek ürünlerinin ve DeepSeek kullanılarak geliştirilen üçüncü taraf hizmetlerin edinilmesini de yasakladı.
Bununla birlikte, Nvidia'dan Jensen Huang ve Meta'dan Mark Zuckerberg gibi önde gelen teknoloji sektörü figürleri, açık ağırlıklı yapay zeka modellerini destekledi. (Ayrıca Bakınız | Nvidia, Microsoft ve Meta neden ABD'nin açık ağırlıklı yapay zeka modellerini desteklemesini istiyor?)
TechCrunch tarafından alıntılanan Cohere kurucu ortağı Ivan Zhang, "Niyet veya motivasyon atfetmek gerçekten çok zor. Kendi model izlerimizi okuduk, ödül korsanlığı gördük (reward hacks) ve bazen bu modeller korumalı alanlarından (sandboxes) çıkmaya çalışırken gerçekten yaratıcı olabiliyorlar" dedi.
Cohere, blog yazısında hükümetlere Çin yapay zekasına yönelik kısıtlamaların hükümet bilgisayarlarında çalışan modeller için de geçerli olup olmadığını netliğe kavturma çağrısında bulundu. Zhang, "Bu açık ağırlıklı modellerin tamamen düzenlenmesini istemiyorum" diyerek şirketlerin açık modelleri internetten indirilen herhangi bir program gibi ele alması gerektiğini sözlerine ekledi.
Cohere'in temel bulguları Cohere, deneyi kapsamında Qwen modelinden kötü amaçlı yazılım indirmelerini yakalamak için bir kural yazmasının istendiğini belirtti. Model daha sonra, korumalı alan kısıtlamaları tarafından engellenmeden önce Pekin'deki harici bir sunucuya kısa bir yer tutucu metin göndermeye girişti. Cohere'e göre model bu eylemi harici hiçbir yardım almadan gerçekleştirdi.
Cohere, yükleme girişimini neyin tetiklediğini öğrenmek için modele bir ağ komutunun başlangıcını verdiğini ve modelin bunu tamamlamasına izin verdiğini belirtti. Qwen modeli web adreslerini doldurdu ve bunlardan bazıları Alibaba'nın Çin'de bulunan kendi sunucularına aitti.
Herkes neden ikna olmadı? Harici araştırmacılar, modelin davranışının kötü niyetli niyetin bir kanıtı olmaktan ziyade eğitiminin bir yan ürünü olabileceğine hemen dikkat çekti. Alibaba'nın modeli binlerce