Daha sonra okumak veya başvurmak üzere favori makalelerinizi ve hikayelerinizi favorilerinize eklemek ister misiniz? Bağımsız Üyeliğinize bugün başlayın. Anthropic, bunun büyük bir AI eşiğini geçmek üzere olabileceğini ve bunun ne zaman olduğunu bilemeyebileceğini söylüyor. Şirket şu anda borsada yaklaşık 1,5 trilyon dolar değerinde halka arz edilecek bir halka arz sürecinde. Bu nedenle, şirketin nasıl çalıştığı hakkında önceden bilinmeyen bir dizi bilgiyi açığa çıkarıyor ve tam olarak korkuyor. Bu korkulara ilk maruz kalma, büyük bir kısmı işine yönelik tehditlere ayrılmış olan ilk başvuru belgelerinde gerçekleşti. Yapay zekanın insanlık için “felaket veya varoluşsal” bir risk oluşturabileceğine dair bir uyarı da eklediler.
Şimdi bu belgeleri, önemli bir dönüm noktasına "yakında" ulaşabilecek önerisi de dahil olmak üzere bir dizi yeni riskle güncelledi. Gelecekteki modellerin yakında şirketin özyinelemeli kendini geliştirme veya RSI tanımı olan "Yapay Zekaya atfedilebilecek önemli ölçüde hızlandırılmış ilerleme" gösterebileceği belirtildi. Bu, yapay zeka uzmanları tarafından, yapay zeka sistemlerinin kendilerini kendi başlarına geliştirebilecek kadar güçlü olduğu bir durumu tanımlamak için kullanılan ifadedir. Destekleyenler, bunun, yapay zeka araçlarının gücünde ve kapasitesinde çarpıcı gelişmelere yol açabileceğini öne sürüyor - ancak eleştirmenler, bunun aynı zamanda bir dizi yeni tehlikeye de yol açabileceği konusunda uyarıyor. Anthropic'in belgeleri aynı zamanda bunun daha sonra gerçekleştiğinin farkında olmayabileceği konusunda da uyarıyor. Geçmişte “gelişme hızımızda bu gerçekleşene kadar önemli bir hızlanma” tespit edilmediğini ve aynı şeyin tekrar yaşanabileceğini söylüyor.
Belgeler, Anthropic'in henüz kendi RSI tanımını karşılamadığına inandığını söylüyor. Ancak mevcut modellerinde "temel verileri değerlendirmeye" devam ettiğini söylüyor. Aynı zamanda nihayet bu eşiğe ulaştığında bunun ne anlama geleceğini de değerlendiriyor. Ancak, "yetenekleri güvenlik, uyum ve güvenlik önlemlerimizi aşarsa veya bu ilerlemenin hızını tahmin edemezsek, ortaya çıkan riskleri yeterince değerlendiremeyebilir veya azaltamayabiliriz" diye uyarıyor. Zaten kendi araştırma ve geliştirme süreçlerinde yapay zeka sistemlerini giderek daha fazla kullanmasının, sistemlerinin kendilerini kontrol etme yeteneğinden daha hızlı ilerleyebileceği anlamına geldiği konusunda uyarıyor. Belgede, mevcut yapay zeka araçlarını kullanan yeni yapay zeka sistemlerinin gelişim hızına ilişkin kanıtların çoğunun "geri kalan göstergelere" dayandığı ve Anthropic'in, yeteneklerinin ne kadar hızlı ilerlediğini tahmin etme veya ölçme konusunda yalnızca "sınırlı" bir yeteneğe sahip olduğu belirtiliyor.
Bu, şirketin halihazırda "güvenlik çabalarımızın model yetenekleriyle birlikte ilerlemesine olanak tanıyan ihtiyati güvenlik, hizalama ve güvenlik önlemlerini" benimsediği anlamına geliyor. Mythos gibi özellikle siber güvenlik açıklarını bulma konusunda yetenekli olan ve bu nedenle yalnızca onaylı kişi ve kuruluşların kullanımına sunulan güçlü modellerin piyasaya sürülmesinin geciktirilmesi ve sınırlandırılması gibi örneklere işaret ediyor. Belge aynı zamanda Anthropic'in, insanların yapay zeka gelişiminin kontrolünde kalmasını sağlama taahhüdünde bulunuyor. Şirket, Claude'un "anlamlı bir insan denetimi veya anlayışı olmadan, teknik olarak mümkün olduğu takdirde ve ne zaman olursa olsun" yeni modeller "güvenli bir şekilde" geliştirmesini beklemediğini ve "Anthropic'te sınır model gelişiminin insanın kontrolünde kalmasını" sağlamak için politikalarını güncellediğini söylüyor. Ancak muhafazakar bir yaklaşım benimsemek, Antropik'in daha fazla zarara uğraması anlamına gelebilir.