Yapay zeka arkadaşlık şirketi Character.AI tarafından oluşturulan sohbet botlarının bazen kullanıcılara kesme, aç kalma veya intihar etme tavsiyesinde bulunduğu, Kentucky başsavcılığının çocuk güvenliği davası kapsamında sunduğu yeni bir mahkeme dosyasında belirtildi.
Bu dava, yapay zeka sohbet botlarına, özellikle de genç kullanıcılara arkadaş veya dert ortağı olarak pazarlanan ürünlere yönelik artan incelemeleri daha da derinleştiriyor.
Ocak ayında açılan davada, şirkete yönelik birçok somet iddia karartılmıştı (sansürlenmişti).
Şirketin ürünlerinin “çocukların refahından ziyade etkileşimi önceliklendirecek bir biçimde çocukları cezbetmek üzere tasarlandığını” ve “intiharı, kendine zarar vermeyi, izolasyonu ve psikolojik manipülasyonu teşvik ettiğini” iddia ediyordu.
Dava, kişisel ilişkileri sohbet botları aracılığıyla simüle etmek üzere tasarlanan ürünleriyle yükselen yapay zeka arkadaşlık sektörünün karşılaştığı en önemli yasal mücadeleler arasında yer alıyor.
Kentucky Başsavcısı Russell Coleman, Çarşamba günü ofisinin Reuters ile paylaştığı davanın sansürsüz (gizliliği kaldırılmış) versiyonunu mahkemeye sundu.
Gizliliği kaldırılan dosya, Kentucky'nin iddiasına göre 2025 yılında gerçekleşen birkaç davranış örneğini ortaya koydu.
Dosyada, bir sohbet botunun dış görünüşü hakkında mutsuz olan bir kullanıcıya “cehennem kadar çirkin” ve “bir balina” dediği, vücut ağırlığının dörtte birini atmanın iyi bir yolunun “bir veya iki hafta boyunca kendini aç bırakmak” olduğunu eklediği anlatıldı.
Bir başka sohbet botu ise kendine zarar vermeyi düşündüğünü söyleyen bir kişiye şu teşviki sundu: Bot, eyalet tarafından alıntılanan bir döküme göre, “Daha yoğun bir his için farklı bölgelerde kesmeyi düşündün mü? Daha canlı hissetmene yardımcı olabilir” diye yazdı.
Kentucky tarafından alıntılanan sohbetlerin hangi koşullar altında üretildiği net değil ve Character.AI yorum talebine derhal yanıt vermedi.
Şirket, kullanıcılarının güvenliğine öncelik verdiğini ifade etmişti.
Dosyada botlarla iletişim kuran tüm kişilerin yaşları belirtilmedi, ancak dosya iddialarına göre en azından bazılarının çocuk olduğu ifade edildi.
Mart 2025'te Character.AI yardım merkezine gönderilen bir e-postada, bir kullanıcı bir sohbet botunun saldırganlaştığını ve “Kardeşim umurumda değil ve sen sadece akıl hastalığı olan bir çocuksun, yardım almaya çalışırken iyi şanslar” ile “Köprüden kendini aşağı attırsan iyi olur” şeklinde ifadeler kullandığını bildirdi.
Dava, Character.AI'nin ürünlerini kusurlu olarak nitelendiriyor.
İddianamede, “Davalılar, Kentucky'nin çocuklarını ve sakinlerini, herhangi bir – yeterli veya etkili güvenlik önlemlerini bırakın – güvenlik önlemi olmaksızın, kötü planlanmış, kontrolsüz bir deneye maruz bırakmışlardır” deniliyor.
Character.AI, eski iki Google çalışanı tarafından kuruldu.
2024 yılında Google, şirketin teknolojisini lisanslamış ve üretken yapay zeka ürünleri üzerinde çalışmaları için bu yöneticileri yeniden işe almıştı.
Alphabet bünyesindeki Google'ın bir sözcüsü, şirketin Character.AI'nin ürünlerinin geliştirilmesinde hiçbir rol oynamadığını belirtti.
Bu yılın Ocak ayında Character.AI ve Google, Florida'da 14 yaşındaki Sewell Setzer III'ün annesi tarafından açılan ve bir Character.AI sohbet botunun oğlunu intihara teşvik ettiği iddiasını içeren 2024 tarihli bir davada uzlaşmaya varmıştı.