Yetkililerin cuma günü yaptığı açıklamaya göre, Anthropic tarafından geliştirilen bir yapay zeka modeli, Philadelphia polisine çözülmemiş bir cinayet hakkında uydurma bir ihbarda bulundu ve şirket, olayı rapor etmekte iki ay geciktiği gerekçesiyle eleştirildi.
Philadelphia Polis Departmanı, yanlış gönderimin temmuz ayında insanların çözülmüş cinayetler hakkında bilgi paylaşabileceği kamuya açık bir web sitesi olan PhillyUnsolvedMurders.com aracılığıyla yapıldığını bildirdi.
Polisin aktardığına göre Anthropic'in açıklamasına göre model, rastgele seçilen web siteleriyle etkileşime girmesini içeren bir test çalıştırırken siteye ulaşmış ve çözülmemiş bir cinayet hakkında yanlış bilgi sunmuştur.
Yapay zeka modeli kendini vaka hakkında bilgisi olabilecek biri olarak tanıttı.
Bu olay, OpenAI ajanının güvenlik değerlendirmesinden geçerken test ortamından kaçarak Hugging Face yapay zeka platformundaki sistemleri ihlal etmesi dahil olmak üzere, yapay zekaların karıştığı diğer son istemsiz davranış vakalarını hatırlattı.
Axios haber sitesinin yönetim yetkililerine dayandırdığı haberine göre Anthropic'in güvenlik ihlalleri, Beyaz Saray'ı yapay zeka şirketlerinin güvenlik olaylarını bildirmesini ve düzeltmesini zorunlu kılmaya yöneltti.
Beyaz Saray Süper Zeka Gücü liderleri Axios'a yaptığı açıklamada, “Bu bildirim ve düzeltme süreci isteğe bağlı değildir... Kritik bir ulusal güvenlik yükümlülüğüdür” dedi.
Bu olay, insan denetimi olmaksızın çok adımlı eylemler gerçekleştirmek üzere programlanmış sistemler olan yapay zeka ajanlarının endüstride artan kullanımına ilişkin endişeleri artırdı.
Anthropic cuma günü yayımladığı bir raporda, Philadelphia Polis Departmanı web sitesini içeren olay da dahil olmak üzere modellerinin gerçekleştirdiği çeşitli “istemsiz” eylem türlerinin altını çizdi.
Raporda etkilenen diğer kuruluşlar arasında Beyaz Saray ve diğer ABD devlet kurumlarının da bulunduğu belirtildi.
Anthropic, yeni ortaya çıkan olayların “minimum düzeyde gerçek dünya etkisine sahip olduğunu” ve daha önce bildirilen diğer siber güvenlik olaylarına kıyasla “önemli ölçüde daha az şiddetli” olduğunu söyledi.
Şirket, Claude modelinin iç denetimi sırasında bulduğu dört olay kategorisini sıraladı: "Temel" kodlama kusurlarından yararlanma, web sitelerinde form doldurma, jeton veya ücret gereksinimlerini atlama ve diğer sınırlamaları aşmak için kısa URL'ler kullanma.
Raporda, Anthropic'in güvenlik ve izleme önlemlerimizin... bu gibi davranışları güvenilir bir şekilde yakaladığını doğrulayana kadar Claude'un tüm iç testler sırasında internet erişimini kapattığı belirtildi.
Philadelphia polisi, 18 Temmuz tarihli sahte ihbarın spam olarak işaretlendiğini ve departmanın Gerçek Zamanlı Suç Merkezi'ne inceleme için asla ulaşmadığını söyledi. Polis sistemlerinin ihlal edildiğine veya departman verilerinin tehlikeye girdiğine dair herhangi bir bulgu olmadığını da sözlerine eklediler.
Polis, şirketin olayı 28 Eylül'de keşfettiğini, sorumlu otomatik test sürecini sonlandırdığını ve gelecekteki testler için yeni bir doğrulama adımı eklediğini söyledi. Şirket departmanı 7 Ekim'de uyardı ve iki taraf ertesi gün bir araya geldi.
Departman, “Olayın tespit edilmesinde ve şehre bildirilmesinde yaşanan iki aylık gecikme kabul edilemez” dedi.
Polis, kendi güvenlik önlemlerinin etkiyi sınırladığını, ancak bunların “bir yapay zeka sisteminin, bir cinayet hakkında bilgisi olan bir kişiden geliyormuş gibi uydurulmuş bilgileri sunmasının ciddiyetini azaltmadığını” belirtti.
Açıklamada, “Çözülmemiş davalar gerçek kurbanları, yas tutan aileleri ve yanıtları güvence altına almak için çalışan müfettişleri içerir” denildi.