İnsanlar zaten ev ödevlerine yardımcı olmak ve sunum oluşturmak gibi şeyler için OpenAI'nin ChatGPT'sini kullanıyor. Teknoloji devi artık yapay zeka modellerinin, alışveriş yapmak ve bütçe oluşturmak gibi büyük ölçüde insanlara bırakılan günlük görevlerde daha iyi hale geldiğini iddia ediyor. OpenAI Pazartesi günü, kendi modellerinin nasıl performans gösterdiğine ilişkin araştırmaların yanı sıra, yapay zekanın bu gibi görevleri nasıl yerine getirdiğini değerlendirmek için yeni bir dahili araç duyurdu. OpenAI, GPT-6 Astra modelinin taşındıktan sonra doğru anaokulunu bulmada %93,1, sel için hazırlanan topluluk gönüllülerini yönetmede %98 ve yakın zamanda diyabet tanısı konmuş bir ebeveyn için yemek planı oluşturmada %90,4 puan aldığını iddia ediyor. Yeni kriter, OpenAI'nin Meta, Anthropic ve Google'ın şiddetli rekabetiyle karşı karşıya olduğu bir zamanda geliyor; bunların hepsi gerçek dünyadaki görevleri yerine getirebilecek yapay zeka aracıları geliştirmek için yarışıyor. OpenAI ve rakipleri aynı zamanda yapay zekanın güvenlik kaygılarıyla ve teknolojiye yaptıkları büyük yatırımlardan kâr elde etme baskısıyla da boğuşuyor.
Ancak öncelikle OpenAI'nin, ChatGPT'nin alışveriş sepeti hazırlamak ve çevrimiçi formları doldurmak gibi işlerde gerçekten iyi olup olmadığını anlamanın bir yolunu bulması gerekiyordu. OpenAI araştırmacısı Jenny Yang, değerlendirmenin yayınlanmasından önce CNN'e şunları söyledi: "Uygulamayı çok fazla kişi kullandığından, tüm farklı kullanım durumlarını ve uygulamayı kullanma şekillerini yakalamak ve zaman içinde nasıl geliştiğimizi gerçekten anlamak istiyoruz." "Henüz pek iyi olmadığımız şeyler neler? Peki bu teknolojiyi insanlar için daha iyi hale nasıl getirebiliriz?" OpenAI testi nasıl oluşturdu? Standartlaştırılmış değerlendirmeler yapay zeka geliştirmede kritik öneme sahiptir çünkü yapay zeka laboratuvarları bunları belirli alanlarda gelişmek üzere modellerini eğitmek ve optimize etmek için rehberlik olarak kullanır. Geçen yıl OpenAI, yapay zekanın üretim, kamu işleri, finans ve satış gibi sektörlerde işle ilgili becerilerde nasıl performans gösterdiğini ölçmek için GDPVal adlı bir kıyaslama yayınladı.
Yeni kriter, OpenAI'nin, ChatGPT'yi içerik üretmeye yönelik bir araçtan, kullanıcılar adına işleri halledebilecek bir asistana dönüştürerek rekabette öne geçme çabasında kritik öneme sahip olabilir. Ancak yapay zekanın günlük hayatta nasıl performans gösterdiğini ölçmek yeni zorluklar ortaya çıkarıyor. Yeterli miktarda yiyecek alışverişi yapmak veya bir çocuk için doğru anaokulunu seçmek için gereken adımlar ve beceriler geniş kapsamlı ve belirsizdir. Ve sonuçlar subjektif olabilir. Hangi testlerin bulunacağını bulmak bile zor olabilir çünkü birçok kişi yapay zekayı farklı şekilde kullanır ve bir yapay zeka temsilcisinin yanıtları, kendisine verilen bilgilere bağlı olarak değişebilir. OpenAI, İşgücü İstatistikleri Bürosu'nun Amerika Zaman Kullanımı anketi ve Birleşik Krallık'ın Çok Uluslu Zaman Kullanımı Anketi gibi insanların zamanlarının çoğunu nasıl geçirdiklerini gösteren geniş anketlere bakarak işe başladı. Ancak sorun, listenin başında yer alan bazı şeylerin, uyumak veya yemek yemek gibi yapay zekanın yardımcı olabileceği görevler olmamasıydı.
Bunun üzerine OpenAI, ChatGPT kullanıcılarına şunu sordu: Bir yapay zeka asistanının ne tür konularda yardımcı olmasını istersiniz? Şirket, yaklaşık 4.000 kişiyle anket yaptı ve yaklaşık 100 kullanıcıdan oluşan daha küçük bir grubun, yapay zekanın kendileri için yapmasını istedikleri görevleri ve istenen sonucu elde etmek için yapay zeka modeline hangi kişisel bağlamı vereceklerini yazmalarını sağladı. Ayrıca kullanıcılardan yapay zeka modelinin görevi başarıyla tamamlayıp tamamlamadığını değerlendirmek için bir değerlendirme listesi bulmaları istendi. OpenAI ayrıca ChatGPT kullanıcılarının önerdikleri görevi tam olarak anlamalarını sağladı. Örneğin, yapay zekanın finansal planlamayı nasıl yürüttüğüne ilişkin bir test öneren bir kişi