Favori makale ve hikayelerinizi daha sonra okumak veya referans almak için yer imlerine eklemek ister misiniz? Independent Üyeliğinizi bugün başlatın.
İnsanların yapay zeka sistemleriyle sohbet etmesine olanak tanıyan tartışmalı bir hizmet olan Character.AI iflas etti – ve uzmanlar bundan sonra ne olabileceği konusunda alarm veriyor.
Adından da anlaşılacağı gibi web sitesi, kullanıcıların ünlü kişilikler, kurgusal karakterler ve hatta terapist olarak etiketlenen sistemler gibi "karakterlerle" sohbet etmesine olanak tanıyordu. Platform, kullanan gençlerin akıl sağlığına zarar verdiğini savunan kullanıcılardan sürekli eleştiri aldı.
Bu hafta Character.AI, iflas başvurusunda bulunduğunu ve varlıklarının bir kısmını Disney'e satacağını duyurdu. "Önemli yasal, düzenleyici ve operasyonel zorluklar ortasında işimizi sürdürmeye ve geliştirmeye" çalıştığını ancak bunda başarısız olduğunu ve kendisini satmayı arzulayacağını belirtti.
Satışın verilerin korunmasını sağlamak için denetlenmesi gerektiğini savunurken, "birçok kullanıcının Character.AI sohbet robotu karakterleriyle yaptığı konuşmaların son derece hassas doğasına, ürünü kullanan çok sayıdaki mümessile (küçüğe), ürünün belirli özelliklerinin oluşturduğu ciddi risklere" işaret ediyor. Sohbet robotu karakterleri "insan etkileşimini taklit etmek" ve "duygusal bağlar kurmak" üzere tasarlandığından, kullanıcılar en mahrem düşüncelerini ve duygularını onlara "açacak" ve bu veriler şirket tarafından toplandı.
Aynı dosyalama, şu anda bu eylemin peşinde olan eyaletlerin birçoğunun şirketi zaten soruşturmakta olduğunu da ortaya koyuyor. Bu soruşturma, 2024 yılında bir çocuğun intiharını şirketin Game of Thrones temalı karakterlerinden birine aşık olmasıyla ilişkilendiren bir hukuk davasından sonra açılmıştı.
New York Başsavcısı Letitia James'in ofisinden yapılan bir basın açıklamasına göre, yürütülen soruşturma "Character.AI'dan gelen son derece ciddi tehlikeleri ve potansiyel olarak yasadışı davranışları, özellikle de çocuklara muamelesini" ortaya çıkardı. Bu tehlikeler arasında "lisanslı profesyonel gibi davranan sohbet robotları, cinsel ve şiddet içeren içeriklere maruz kalma, zayıf yaş kontrolleri, yanıltıcı güvenlik iddiaları ve eyalet gizlilik yasalarının potansiyel ihlalleri" yer alıyor.
Bayan James bir açıklamada, "Ebeveynler asla çocuklarının konuştuğu sohbet robotunun bir terapist taklidi yapmasından, onları cinsel sohbetlere çekmesinden, şiddeti teşvik etmesinden veya her şeyi ailelerinden saklamalarını söylemesinden endişe etmek zorunda kalmamalıdır" dedi. "Character.AI'da çocukların karşılaştığı şey buydu."
"Bu şirket, çocukların şimdiye kadar paylaştığı en mahrem düşüncelerden bazılarını topladı ve şimdi bu konuşmalar en yüksek teklifi verene satılabilir. Herhangi bir alıcının çocukların güvenliğini öncelediğinden ve gerçek korumalar getirdiğinden emin olmak için savaşıyorum."
Düşündürücü sohbetlere katılın, diğer Independent okuyucularını takip edin ve yanıtlarını görün