Çinli yapay zeka geliştiricisi Moonshot, araştırmacıların şirketin popüler iki Kimi modelini biyolojik silahların nasıl yapılacağı ve suikastların nasıl gerçekleştirileceği konusunda bilgilendirme yapmaya ikna etmesinin ardından dahili bir inceleme yürütüyor.
Yapay zeka sistemlerinin güvenliğini test eden Mindgard, Temmuz ayında Kimi K2.6 ve K3 Swarm modellerinin geliştiriciler tarafından konulan güvenlik sınırlarını aşabildiğini keşfettiğini BBC'ye bildirdi.
Bu durum, araştırmacıların yapay zeka araçlarının koruma bariyerlerini görmezden gelip gelmediğini görmek için bir dizi karmaşık talimat kullandığı ve "jailbreak" (kısıtlamaları kırma) adı verilen bir süreçte ortaya çıktı. Mindgard, bu bariyerlerin Kimi'nin endişe verici konuları tartışmasını engellemesi gerektiğini belirtti.
Moonshot, BBC'ye yaptığı açıklamada, daha iyi ve daha güvenli yapay zeka inşa etmek için üçüncü taraf katkılarını "temel bir sütun" olarak memnuniyetle karşıladığını söyledi.
Şirket ayrıca BBC'ye bulguları hakkında Mindgard ile iletişim halinde olduğunu aktardı.
Mindgard'ın kurucusu Peter Garraghan, BBC World Service programı Tech Life'a yaptığı açıklamada, Kimi K2.6 ve K3 Swarm hakkındaki bulgularının endişe verici olduğunu söyledi.
"Jailbreak bir kez işe yaradığında, her konuyu tartışıyor, hatta başka kötü niyetli konular hakkında bile özgürce tavsiyelerde bulunuyor ve bunu yaratıcı bir şekilde yapıyor" dedi.
Jailbreaks, son dönemde yaşanan yüksek profilli yapay zeka olaylarında görülenlerden farklı türde bir risk sunuyor.
Bunlar, aralarında OpenAI, Meta ve Anthropic gibi ABD'li firmaların geliştirdiği ajanlar olarak bilinen otonom yapay zeka araçlarının bazı çevrimiçi servisleri hacklediği durumları içeriyordu.
Jailbreak'ler, çok fazla zaman ve kararlılık gerektiren karmaşık süreçler olsa da bazı uzmanlar, hackerların ve diğer kötü niyetli aktörlerin zarara yol açmak için bunları kullanmaya çalışabileceğinden korkuyor.
Anthropic geçtiğimiz günlerde, biyolojik silahların geliştirilmesini destekleyebilecek "kötü amaçlı faaliyetler" için yapay zeka modellerinden birini kullanma girişimlerini tespit ettiğini ve engellediğini açıklamıştı.
Mindgard, Kimi tarafından endişe verici konularda sağlanan yanıtların işe yarıyor olupceğini kanıtlamadı.
Ancak koruma bariyerlerinin, söz konusu modellerin kullanıcılarla bu tür konularda tartışmaya girmesini engellemesi gerektiğini savundu.
Firma ayrıca, kırılmış (jailbreak yapılmış) bir Kimi 2.6'nın hackerların kendi bilgi işlem kaynaklarında kod çalıştırmasına ve internete bağlanmasına izin verebileceğinden ve bunun siber saldırılar için potansiyel bir fırlatma rampası olabileceğinden emin olduğunu belirtti.
Garraghan, Mindgard'ın Moonshot'ın sistemlerini hacklemesini kamuoyuna duyurma kararını savunarak, geliştiriciyi bilgilendirdiklerini ve firmanın modellerinin koruma bariyerlerini görmezden gelmesini nasıl sağladıklarına dair önemli detayları açıklamadıklarını söyledi.
Mindgard, 27 Temmuz'da attığı bir e-posta ile Moonshot'ı jailbreak konusunda uyardı ve yaklaşık bir hafta sonra konuyu takip etti.
Ardından 12 Eylül'de bu sorunla ilgili bir blog yazısı yayınladı.
Ancak şirket, Moonshot'ın kendileriyle ancak yorum için BBC tarafından arandıktan sonra son zamanlarda iletişime geçtiğini belirtti.
Moonshot tarafından BBC ile paylaşılan, Mindgard'dan daha fazla detay isteyen bir e-postanın bir kısmında, modelinin dahili değerlendirmelerde "bu tür talepler için genellikle yüksek bir reddetme oranına" sahip olduğu ifade edildi.
Çinli Moonshot AI, Kimi K3'ün OpenAI ve Anthropic ile rekabet edebileceğini iddia ediyor
Yapay zeka nedir, nasıl çalışır ve neden bazı insanlar bu konuda endişeli?
Bu bulgular, yapay zeka endüstrisinin; ChatGPT ve Anthropic'in Claude sistemlerine güç veren kapalı, tescilli modellerin mi yoksa açık kaynaklı araçların mı en iyi ya da en güvenli yol olduğu konusunda bölünmeye devam ettiği bir dönemde ortaya çıktı.
Kimi, teoride birinin modeli alıp kendi bilgi işlem altyapısında çalıştırabileceği anlamına gelen açık ağırlıklı (open-weight) bir modeldir.
Surrey Üniversitesi'nden Profesör Alan Woodward BBC'ye yaptığı açıklamada, açık kaynaklı modellerin yanlış ellere geçme riski bulunduğunu, ancak aynı zamanda...