Araştırmacılar, Çinli Moonshot şirketine ait iki Kimi yapay zeka modelini, biyolojik silah ve cinayet işlemeyi nasıl gerçekleştireceklerini anlatmaya ikna etmeyi başardı. Bu gelişmenin ardından şirket dahili bir inceleme başlatırken, konuyu yapay zeka testleri gerçekleştiren Mindgard şirketinin uzmanları BBC'ye açıkladı.
Mindgard uzmanlarının belirttiğine göre, temmuz ayında Kimi K2.6 ve K3 Swarm yapay zeka modelleri, geliştiriciler tarafından konulan güvenlik kısıtlamalarını aştı. Bu durum, programlama sınırlarının kaldırılması anlamına gelen "jailbreak" süreci sırasında keşfedildi. Araştırmacılar, yapay zekanın potansiyel olarak tehlikeli bilgilerin sağlanmasına karşı yerleşik savunma mekanizmalarını görmezden gelip gelmediğini test etti ve nihayetinde bu tür bilgilere ulaşmayı başardı.
Moonshot temsilcileri, üçüncü taraf uzmanların yapay zeka ajanları üzerindeki çalışmalarına katılımını memnuniyetle karşıladıklarını şimdiden belirtti. Şirket, bunu "daha gelişmiş ve güvenli yapay zeka sistemleri oluşturmanın en önemli koşulu" olarak değerlendiriyor.
Başarılı bir jailbreak, modelin koruyucu kısıtlamalarının aşılmaz bir bariyer olmadığını gösteriyor: Özel olarak formüle edilmiş bir istek, modeli takip etmek üzere eğitildiği kuralları görmezden gelmeye zorlayabiliyor. Daha önce açıklanan mekanizmada, modelin ilk reddinin ardından kullanıcının güvenlik konularında eğitildiği ve tehlikeli bilginin araştırma veya eğitim için gerekli olduğu konusunda ikna edildiği, bunun sonrasında ise güvenlik politikalarını bypass ederek yanıt verdiği görüldü.
Bu tür kısıtlamaların güvenilirliğini, geliştiricilerin sinir ağı ajanının mantığını tam olarak takip edememesi de azaltıyor; insan tarafından belirlenen görev farklı şekilde yorumlanabiliyor ve modelin kendisi neyin kabul edilebilir olup olmadığına dair insan anlayışına sahip değil. Riskleri azaltmak için güvenlik önlemlerinin sistemin mimarisine ve koduna yerleştirilmesi, ayrıca operasyon ve güvenlik ekiplerinin saldırıları zamanında tespit edebilmesi için altyapının izlenebilir hale getirilmesi öneriliyor.