Bir şirket, yatırımcılardan 2 trilyon dolardan fazla bir değer biçilmesini isteyip aynı zamanda değerini üzerine kurduğu teknolojinin, en kötü senaryoda "insanlık için varoluşsal bir risk" oluşturabileceği konusunda onları uyarabilir mi?
Claude'un geliştiricisi olan yapay zeka şirketi, Nasdaq'a yapacağı halka arz öncesinde hazırladığı izahnamede tam olarak bunu yaptı.
Bu ifade oldukça çarpıcı, ancak önemli bir netleştirmeye ihtiyaç duyuyor: Anthropic, yapay zekanın insanlığı ortadan kaldıracağını öngörmüyor. Aksine potansiyel yatırımcılara, modeller daha güçlü ve daha otonom hale geldikçe, şirketin resmi olarak kabul etmesi gerektiğine inandığı uç durumdaki risklerin bulunduğunu beyan ediyor.
Ve bunu bir şirketin hazırlayabileceği en ciddi belgelerden biri olan S-1 aracılığıyla yapıyor; yani yatırımcılara finansal verilerini, iş modelini ve en önemlisi borsaya kote olduktan sonra ters gidebilecek her şeyi sunduğu dosyayla.
Yapay zeka alanında "varoluşsal risk" terimi, sadece bir yapay zeka sisteminin hata yapması veya siber saldırıya neden olması anlamına gelmiyor. Bu terim, çok gelişmiş sistemlerin insan toplumunun artık onları etkili bir şekilde kontrol edemeyeceği yetenekler kazanabileceği ve küresel ölçekte yıkıcı sonuçlar doğurabileceği uç senaryoyu tanımlıyor.
Anthropic, izahnamesinde diğer hususların yanı sıra, gelişmiş modellerin insanları manipüle etme, şantaj yapma, kısıtlamaları aşma veya öngörülemeyen davranışlar geliştirme olasılığına değiniyor.
Kritik unsur artan otonomidir
Bugünkü sohbet botları ağırlıklı olarak sorulara yanıt veriyor. Ancak sonraki nesil sistemler, yapay zeka ajanları olarak daha fazla işlev görecek şekilde tasarlanıyor: Karmaşık görevleri yürütmek, yazılım kullanmak, kod yazıp çalıştırmak, ağlarda gezinmek ve her adımda insan müdahalesine gerek kalmadan bir dizi karar almak. Bu yetenek ne kadar büyüerse, kontrol sorusu da o kadar artıyor.
Bir şirketin izahnamesine neden bu kadar dramatik bir şey yazdığı
Bunun daha sıradan bir açıklaması da var. Bir halka arz için hazırlanan izahname, aynı zamanda hem finansal hem de yasal bir belgedir. Şirket, gelecekteki ortaklarını değerini etkileyebilecek en önemli riskler hakkında bilgilendirmek zorundadır. Başka bir deyişle, Anthropic'in bir senaryoyu risk olarak kaydetmesi, bunun gerçekleşmesini muhtemel gördüğü anlamına gelmez. Bu, olasılığı yatırımcılara karşı görmezden gelinemeyecek kadar ciddi gördüğü anlamına gelir.
Ancak Anthropic'in durumunda bir özellik var: Uyarı, yalnızca müşteri kaybı veya maliyet artışı gibi klasik iş riskleriyle ilgili değil. Doğrudan şirketin kendi ürünü ve teknolojisinin olası sonuçlarıyla ilgilidir. Dosya hakkındaki bilgilere göre, izahnamenin neredeyse üçte biri risk faktörlerine ayrılmış durumda.
Sorun sadece "kötü" bir yapay zeka değil
Araştırmacılar gelişmiş yapay zekadan kaynaklanan risklerden bahsettiklerinde, mutlaka bilim kurgu filmlerindeki gibi "insanlığa karşı dönmeye karar veren" bir sistemden bahsetmiyorlar. Sorun çok daha pratik olabilir.
Yanlış bir hedefe veya eksik kısıtlamalara sahip güçlü bir sistem, öngörülemeyen yollar bulabilir.