Bir IKEA mobilyasını monte etmek hiç de kolay bir iş değildir. Talimatlardaki yanlış bir adım, yanlış yerleştirilmiş bir vida veya ters takılmış bir parça; şifonyeri, yatağı veya kitaplığı tam bir baş ağrısına dönüştürebilir.
Ancak tam da bu baş ağrısı, daha… faydalı bir boyuta sahip olabilir gibi görünüyor. Mobilya montajı için gereken mantık, mekansal algı ve hata tespit yeteneği, artık Yapay Zekanın ne kadar iyi "düşündüğünü" değerlendirmek için bir kriter olarak kullanılıyor.
Kar amacı gütmeyen yapay zeka araştırma kuruluşu Epoch AI'ın araştırmacıları Aiden Eiment ve Greg Burnham, yapay zeka modellerinin gerçek dünya ile doğrudan bağlantılı bir aktivitedeki yeteneklerini ölçmek için tasarlanmış bir deney olan Mobilya Montaj Kıyaslaması'nı (Furniture Assembly Benchmark) sundular: IKEA mobilya montajındaki hataların tespiti.
Testin arkasındaki mantık basittir. Modellerden montajın farklı aşamalarına ait fotoğrafları incelemeleri ve neyin, nerede ve neden yanlış gittiğini belirlemeleri isteniyor.
Teknoloji şirketlerinin sürekli olarak daha güçlü modeller ve yeni yetenekler tanıttığı bir dönemde, performanslarını doğrudan karşılaştırmak her zaman kolay olmuyor.
Epoch AI araştırmacıları, yapay zekayı yalnızca metin anlamayı değil, aynı zamanda görsel ve mekansal algıyı, mantığı ve problem çözmeyi gerektiren bir faaliyette test etmenin bir yolunu aradılar.
İlk fikir, modellerden montaj talimatları vermelerini ve ardından bunları takip etmelerini istemekti. Burnham'ın belirttiği gibi sonuçlar genellikle kaotikti.
Nihai yaklaşım farklıydı: araştırmacılar yapay zekayı bir… denetçi konumuna yerleştirmeye karar verdiler. Modellerden mobilyaları kendilerinin monte etmelerini istemek yerine, insanların yaptığı hataları tespit etmeleri istendi.
Bu yaklaşımın gerçek dünya koşullarına daha yakın olduğu düşünüldü. Montaj sırasında yapılan bir hata, zamanında tanınıp düzeltilebildiği sürece mutlaka bir sorun teşkil etmez.
Üç mobilya, düzinelerce fotoğraf ve birçok hata
Deney için IKEA'nın şirketin karmaşıklık indeksine göre farklı zorluk derecelerine sahip üç ürünü seçildi.
Kolay seviyede Stall ayakkabılık, orta seviyede Tonstad yatak çerçevesi, en zorlu aşama için ise Gullaberg şifonyer tercih edildi.
Araştırmacılar mobilyaları monte ederek sürecin farklı aşamalarına kasıtlı olarak hatalar eklediler. Ardından, OpenAI, Anthropic, Google, Moonshot ve Alibaba'nın yapay zeka modellerine aktardıkları 60 fotoğraf kaydettiler.
Modellerin ellerinde fotoğrafların yanı sıra montaj talimatlarının bulunduğu PDF, fotoğrafları yakınlaştırma aracı ve Python yorumlayıcısı da bulunuyordu.
Görevleri hataları tespit etmek, bunların hangi aşamada yapıldığını belirlemek ve kullanıcıya tam olarak neyin yanlış gittiğini açıklamaktı.
Sonuçlar, modellerin mutlak doğruluk düzeyine henüz ulaşmamış olsalar da önemli ilerlemeler kaydettiğini gösteriyor.
Değerlendirmenin ilk aşamasında Anthropic'e ait Claude Opus 4.5, yalnızca %28'lik bir doğruluk oranıyla en yüksek performansı kaydetti.
Bununla birlikte, yaklaşık on ay içinde tablo önemli ölçüde değişti. OpenAI'ın GPT-6 Astra modeli %80 doğruluk oranına ulaşarak aradaki mesafeyi hızla kapattı.
Hız da oldukça etkileyiciydi. GPT-6 Astra, fotoğraf başına yaklaşık üç dakikaya ihtiyaç duydu.