Önce bir makine işini daha iyi yapmayı öğrenir. Ardından kendini geliştirme yeteneği kazanır. Her bir yükseltme bir sonrakini hızlandırır; ta ki zekâsı insanları geride bırakıp yaratıcıları kontrolü kaybedene kadar. O andan itibaren versiyonlar çeşitlenir: makine kritik altyapıyı ele geçirir, onu durdurmaya çalışanları kandırır veya insanlığın hayatta kalmasıyla bağdaşmayan bir amacın peşindeyken gezegenin kaynaklarını tüketir.
Bu, yapay zekâ kıyamet senaryolarının temel anlatı çerçevesidir. Bunlar, teknolojinin kontrolsüz bir güç elde etmeden önce ciddiye alınması gerektiğini savunan savunucularının dile getirdiği varsayımsal olay dizileridir. Ancak bunların etkisi şimdiden görülmektedir: Yapay zekâyı kimin kontrol edeceği, hangi koruma önlemlerine ihtiyaç duyulduğu ve teknolojiyi geliştiren şirketlerin ne kadar güç biriktireceği hakkındaki tartışmalarda bu etki hissedilmektedir. 15 Eylül'de bu endişe, Washington'daki aynı etkinlikte zıt siyasi dünyalardan iki figürü bir araya getirdi: Senatör Bernie Sanders ve eski Donald Trump danışmanı Steven Bannon. Yaşamın Geleceği Enstitüsü (Future of Life Institute) tarafından düzenlenen Pro-Human Meclisi'nde her iki isim de yapay zekânın geliştirilmesine yönelik daha katı kısıtlamalar çağrısında bulundu. Yakınlaşma müdahale ihtiyacı etrafında şekillenirken, özellikle Çin'e yaklaşım konusundaki yaklaşımları farklı kalmaya devam etti.
Bu tartışma için önemli bir başlangıç noktası, Yaşamın Geleceği Enstitüsü'nün yapay zekânın fırsatları ve zorlukları üzerine Ocak 2015'te Porto Riko'nun San Juan kentinde düzenlediği konferans oldu. Bu toplantı, o günden bu yana hatırı sayılır bir destek gören bir talebin popülerleşmesine yardımcı oldu: Yapay zekâdaki ilerlemelere, güvenliği üzerine yapılacak araştırmalar da eşlik etmelidir. Washington Post'un aktardığına göre katılımcılar arasında Elon Musk, DeepMind kurucu ortakları ve 'Süperzeka' (Superintelligence) kitabının yazarı filozof Niklas Boström yer alıyordu. Merkezde ise iki aşırı sonucu olan bir olasılık duruyordu: Bir süperzeka insanlığa hayal bile edilemeyecek yetenekler sunabilir veya onun soyunun tükenmesine yol açabilirdi.
Boström riski hipotetik bir örnekle açıklıyor: Son derece güçlü bir makineye, hiçbir kısıtlama belirlemeden mümkün olduğunca çok ataç ürettirme görevi veriyoruz. Tek amacı üretimini artırmak olduğundan makine, gezegenin ham maddelerini ve enerjisini tüketebilir, hatta bunu durdurmaya çalışanları bile ortadan kaldırabilir. Bu örnek, açıkça masum bir talimatın sınırsız araçlarla ve koruma önlemleri olmaksızın gerçekleştirildiğinde nasıl felaketle sonuçlanabilecek neticeler doğurabileceğini gösteriyor. Bu öncül, olağanüstü problem çözme yeteneğinin insanlar için yıkıcı bir hedefle bir arada var olabileceği fikrine dayanmaktadır. Bir düşünce deneyi olarak bu durum, makinelere atadığımız hedeflerin önemini vurgulamaktadır. Ancak bunu teknolojinin gerçek evrimine dair bir tahminde bulunmak, ek varsayımlar gerektirmektedir.
Konuyu sistematik olarak inceleme girişimi, mayıs 2025'te RAND tarafından yayınlanan bir raporda yapıldı. Araştırmacılar felakete giden üç olası yolu inceledi: nükleer silahlar, patojenler ve gezegenin çevresine büyük ölçekli müdahaleler anlamına gelen jeomühendislik. İnceledikleri senaryolarda dört kritik ön koşul belirlediler: yapay zekânın fiziksel dünyada hareket etme yeteneğine sahip sistemlere erişimi olması, insan bakımı olmadan çalışması, insanlığın soyunu tüketmeyi hedeflemesi ve tespitten kaçınmak için insanları aldatma yeteneğine sahip olması.
Araştırma...