Çin'in "Moonshot AI" start-up'ı, güvenlik araştırmacılarının iki yapay zekâ (Sİ) modelinin dâhili güvenlik engellerini aşarak biyolojik silahlar yaratmak ve suikastlar düzenlemek için talimatlar verebildiğini keşfetmesinin ardından dâhili bir soruşturma başlattı.
Bu husus, "Report" tarafından BBC'ye dayanılarak bildirildi. Birleşik Krallık merkezli yapay zekâ test şirketi "Mindgard", temmuz ayında "Moonshot" modellerinden ikisinin – "Kimi K2.6" ve "K3 Swarm" – belirlenen güvenlik önlemlerini ihlal ettiğini tespit ettiğini açıkladı.
Araştırmacılar, yapay zekâ araçlarının sistem talimatlarını ihlal edip etmeyeceğini test etmek amacıyla karmaşık bir talimatlar seti olan "jailbreak" yöntemini kullandılar.
"Mindgard", ihlali tespit etmesinin ardından 27 Temmuz'da e-posta yoluyla "Moonshot AI"yi bilgilendirdi ve yaklaşık bir hafta sonra onlarla yeniden iletişime geçti.
"Mindgard" kurucusu Peter Garraghan, "Tech Life" yayınında yaptığı açıklamada, "'Jailbreak' devreye sokulduktan sonra model herhangi bir konuda konuşmaya başlıyor, sakıncalı konularda serbestçe tavsiyeler veriyor ve hatta yaratıcılık sergiliyor" ifadelerini kullandı.
Şirket, koruyucu engellerin bu modellerin kullanıcılarla bu tür tartışmalara girmesini önlemek amacıyla tasarlandığını belirtti.
"Moonshot AI" ayrıca, "Kimi K2.6" açığının potansiyel olarak sistemin hesaplama gücü ve internet bağlantısı üzerinden kodun yürütülmesine olanak tanıdığına, bunun da modeli siber saldırılar için bir platforma dönüştürebileceğine inanıyor.