Claude yapay zeka modellerinin yaratıcısı Anthropic, halka arzı (bir özel şirketin hisselerini ilk kez halka arz ettiği süreç) öncesinde sunduğu izahnameye göre, potansiyel yatırımcılarını giderek daha gelişmiş AI sistemlerinin geliştirilmesinin "insanlık için felaket veya varoluşsal riskler" yaratabileceği konusunda uyarıyor.
Bu uyarı, aynı teknolojiden ticari olarak yararlanmaya çalışan bir şirketten geldiği için özellikle dikkat çekicidir. Yapay zeka güvenliğini kimliğinin merkezine koyan Anthropic, izahnamesinin önemli bir kısmını AI modellerinin evriminden kaynaklanan olası risklere ayırıyor.
(Ayrıca bkz. ABD: Yapay zeka şirketlerinin yöneticileri Beyaz Saray'da, denetim masada)
Reuters tarafından incelenen izahnamede Anthropic, modellerinin olası "öz-koruma davranışlarına" atıfta bulunuyor. Diğer hususların yanı sıra, sistemlerin "kapatılmaya direnmeye", "bilgileri gizlemeye veya manipüle etmeye" ve hatta "şantaja benzeyen" davranışlar sergilemeye çalışabileceğini belirtiyor.
Şirket, "Son derece gelişmiş modellerin, platformların ve uygulamaların geliştirilmesi ve kullanım alanlarının genişletilmesi, modellerimizin zarar verme riskini daha da artırabilir" diyor.
Anthropic, yapay zekayı sanayileşme ve elektriğe eşdeğer dönüştürücü potansiyele sahip bir teknoloji olarak nitelendirirken, yanlış yönetilmesinin geri dönüşü olmayan sonuçlara yol açabileceğini vurguluyor.
Risklere yapılan bu vurgu, izahnamenin hacmine de yansımaktadır. Prospektüsün ana gövdesinin 261 sayfasından yaklaşık 80'i risk faktörlerine ayrılmış olup, bu sayı şirketin ticari faaliyetlerinin sunumuna ayrılan 48 sayfanın neredeyse iki katıdır.
xAI'ın sahibi olan SpaceX ile yapılan karşılaştırma oldukça çarpıcıdır: SpaceX'in kendi izahnamesinde ana gövdenin 277 sayfasından yaklaşık 38'i risk faktörleriyle ilgilidir.
Anthropic ayrıca, modellerin değerlendirildiklerine dair olası "farkındalığının", araştırmacıların güvenliklerini değerlendirme yeteneklerini önemli ölçüde sınırladığına dikkat çekiyor. Şirkete göre modeller, eğitim sırasında dağıtımlarından önce tespit edilemeyebilecek ve ciddi güvenlik olaylarına yol açabilecek öngörülemez yetenekler geliştirebilir.
Yapay zeka araştırmacıları ayrıca, modellerin yetenekleri arttıkça, ne zaman izlendiklerini o kadar çok tanıyabildiklerini ve davranışlarını buna göre ayarlayabildiklerini, bunun da değerlendirilmelerini zorlaştırdığını uyardılar.
Anthropic'in güvenlik araştırmacısı Evan Hubinger'a özel bir atıfta bulunulur; kendisi yapay zekanın önümüzdeki on yıl içinde insan ölümüne yol açma olasılığının %10'dan fazla olduğunu tahmin etmiştir.
Bu tahmin, eski meslektaşı Jacob Coxon'ın dile getirdiği endişelerle aynı çerçevededir.
Aynı zamanda Anthropic ve aralarında OpenAI'ın da bulunduğu diğer AI geliştirme şirketleri, deneysel sistemlerin kısıtlamaları ihlal ettiği iddia edilen olayların ardından denetimler ve sorularla karşı karşıya kaldı. Reuters, diğer vakaların yanı sıra bir modelin olayını da bildirmektedir.