Çinli startup Moonshot AI, otonom yapay zekanın siber saldırıları hızlandırabileceğine dair artan korkular nedeniyle en yeni modelinin siber saldırı yeteneklerini azalttığını Cumartesi günü açıkladı.
Pekin merkezli Moonshot, 3 trilyon parametreli en yetenekli açık ağırlıklı modeli olarak tanımladığı Kimi K3.1 Pro'yu tanıtırken bu kısıtlamaları duyurdu. Şirket, dış geliştiricilerin modeli kendi sistemlerinde çalıştırmasına ve değiştirmesine olanak tanıyan ağırlık dosyalarını 4 Kasım'a kadar yayınlamayı planlıyor.
Moonshot, genel kodlama becerilerini korurken, modeli geliştirmek için kullanılan eğitim külliyatından ve pekiştirmeli öğrenme ortamlarından siber saldırı ile ilgili verileri çıkardığını belirtti.
Şirket, "Siber yeteneklerin mutlak sınırını genişletecek açık ağırlıklar yayınlamamayı hedefliyoruz" açıklamasında bulundu.
Hükümetler, teknoloji şirketleri ve güvenlik araştırmacıları, yapay zekanın sofistike siber saldırıları daha kolay ve ucuz hale getirebileceğinden giderek daha fazla endişe duyuyor. Kod yazabilen, yazılım araçlarını çalıştırabilen ve uzun, çok adımlı görevleri tamamlayabilen modeller, kullanıcıların programlardaki zayıflıkları tespit etmesine ve siber saldırıların bazı kısımlarını otomatikleştirmesine yardımcı olabilir.
Çin geçen hafta, yapay zeka destekli kötü amaçlı yazılım oluşturma ve mutasyon teknolojisinin ihracatını yasaklayacak ve yapay zeka destekli güvenlik açığı keşif araçlarını kısıtlayacak ihracat kontrolleri önerdi. Kamuoyunun görüşüne açık olan taslak önlemler, bu tür yeteneklerin kritik altyapılara, savunma sanayii ve temel devlet sistemlerine karşı kullanılabileceği veya güvenlik korumalarını aşmak için kullanılabileceği riskine atıfta bulunuyor.
Moonshot, açık ağırlıklı modellerin, daha fazla kuruluşun, çok az ilgi gören eski sistemler de dahil olmak üzere kendi yazılımlarını incelemesine ve güvence altına almasına yardımcı olarak güvenliği artırabileceğini savundu.
Ancak, tescilli ve kapalı ağırlıklı yapay zeka sistemlerinin aksine, açık ağırlıklı sürümler merkezi denetimi daha zor hale getiriyor. Dosyalar geniş çapta dağıtıldığında, orijinal geliştirici, barındırılan bir hizmete kıyasla erişimi kısıtlama, kullanımı izleme veya güvenlik önlemlerini güncelleme konusunda daha az yeteneğe sahip oluyor.
Şirket, K3.1 Pro'nun dahili siber testlerinde %81,0 puan aldığını, risk azaltma önlemleri olmayan benzer bir sürümün ise %90,5 puan aldığını belirtti. Test, kontrollü bir ortamda yazılım açıklarını bulmayı ve bunlardan yararlanmayı içeriyordu. Moonshot, karşılaştırmanın siber verilerin filtrelenmesinin modelin saldırgan siber performansını düşürdüğünü, ancak yine de selefinden daha iyi performans gösterdiğini kanıtladığını söyledi. Sonuçlar bağımsız olarak doğrulanmadı.
K3.1 Pro, aynı anda çok büyük miktarda metni işlemesine olanak tanıyan 1 milyon token'lık bir bağlam penceresine sahip. Moonshot ayrıca, standart modelin iki ila üç katı hızda çalıştığını belirttiği daha hızlı bir sürüm olan Kimi K3.1 Pro Highspeed'i de piyasaya sürdü.