Δείτε περισσότερα άρθρα μας στα αποτελέσματα αναζήτησης
Bir şirket, yatırımcılardan kendisine 2 trilyon dolardan fazla bir değer biçmesini isterken, aynı zamanda değerini üzerine kurduğu teknolojinin en kötü senaryoda "insanlık için varoluşsal bir risk" oluşturabileceği konusunda onları uyarabilir mi?
Financial Times'ın bugün erken saatlerde bildirdiği üzere, Claude'u yaratan yapay zeka şirketi Anthropic, Nasdaq'ta halka arz edilmeden önce hazırladığı izahnamede tam olarak bunu yapıyor. Bu ifade oldukça çarpıcı, ancak önemli bir açıklama gerektiriyor: Anthropic, yapay zekanın insanlığın sonunu getireceğini öngörmüyor. Aksine potansiyel yatırımcılara, modeller daha güçlü ve daha otonom hale geldikçe, şirketin resmi olarak kabul etmesi gerektiğine inandığı aşırı risklerin bulunduğunu söylüyor.
Ve bunu, bir şirketin hazırlayabileceği en ciddi belgelerden biri olan S-1 formunda, yani yatırımcılara finansal verilerini, iş modelini ve her şeyden önemlisi halka açıldıktan sonra ters gidebilecek her şeyi sunduğu başvuruda yapıyor.
Yapay zeka alanında "varoluşsal risk" terimi, sadece bir yapay zeka sisteminin hata yapabileceği veya bir siber saldırıya neden olabileceği anlamına gelmez. Bu terim, son derece gelişmiş sistemlerin insan toplumunun artık onları etkili bir şekilde kontrol edemeyeceği yetenekler kazanabileceği ve küresel ölçekte felaket niteliğinde sonuçlar doğurabileceği aşırı senaryoyu tanımlar.
Anthropic, izahnamesinde diğer hususların yanı sıra gelişmiş modellerin insanları manipüle edebileceği, şantaj yapabileceği, kısıtlamaları aşabileceği veya öngörülemeyen davranışlar geliştirebileceği ihtimaline değiniyor.
Bugünün sohbet botları ağırlıklı olarak soruları yanıtlıyor. Ancak yeni nesil sistemler, daha çok yapay zeka ajanları gibi çalışacak şekilde tasarlanıyor: Karmaşık görevleri yerine getirmek, yazılım kullanmak, kod yazıp çalıştırmak, ağlarda gezinmek ve her adımda insan müdahalesine gerek kalmadan bir dizi karar almak. Bu yetenek arttıkça, kontrol sorunu da aynı oranda büyüyor.
Daha sıradan bir açıklama da var. Bir halka arz izahnamesi hem finansal hem de hukuki bir belgedir. Şirket, gelecekteki hissedarlarını değerini etkileyebilecek en önemli riskler hakkında bilgilendirmek zorundadır. Başka bir deyişle, Anthropic'in bir senaryoyu risk olarak listelemesi, bunun gerçekleşmesini muhtemel gördüğü anlamına gelmez. Bu, olasılığı yatırımcılara seslenirken göz ardı edemeyecek kadar ciddi gördüğü anlamına gelir.
Ancak Anthropic'in durumunda kendine has bir özellik var: Uyarı yalnızca müşteri kaybetmek veya maliyetlerin artması gibi geleneksel iş risklerini ilgilendirmiyor. Doğrudan şirketin kendi ürününü ve teknolojisinin potansiyel sonuçlarını ilgilendiriyor. Yapılan başvuruyla ilgili bilgilere göre, izahnamenin neredeyse üçte biri risk faktörlerine ayrılmış durumda.
Araştırmacılar gelişmiş yapay zekadan kaynaklanan risklerden bahsettiklerinde, bilim kurgu filmlerinde olduğu gibi mutlaka "insanlara karşı dönmeye karar veren" bir sistemden bahsetmiyorlar. Sorun çok daha pratik olabilir.
Yanlış bir hedefe veya yetersiz kısıtlamalara sahip güçlü bir sistem, bir görevi tamamlamak için öngörülemeyen yollar bulabilir. Aynı anda gerçek dünya sistemlerine, finansal kaynaklara, koda, ağlara veya kritik altyapıya erişimi varsa, bir hatanın sonuçları çok daha büyük hale gelir.
Bu durum aynı zamanda, yapay zeka sistemlerinin insanlar tarafından belirlenen hedeflere ve kısıtlamalara uygun olarak hareket etmesini sağlama çabası olan uyum (alignment) kavramının da temelinde yatmaktadır. Anthropic inşa etmiştir