Stanford bilim adamları GPT-4'ün zamanla aptallaştığını buldular
Miscellanea / / July 20, 2023
ChatGPT'nin ücretli sürümünün doğruluğu, ücretsiz chatbot'unkinden daha düşüktü.
Yeni çalışmak Stanford Üniversitesi'ndeki bilim adamları, netizenlerin haftalardır şikayet ettiği şeyi doğruladı: ChatGPT Plus, dayalı GPT-4 chatbot'un ücretsiz sürümünü çalıştıran GPT-3.5'in aksine, gerçekten aptallaştı.
Yazarlar çalışmalarında, GPT-4 ve GPT-3.5'e dayalı bir sohbet robotundan gelen farklı isteklere verilen yanıtları karşılaştırdılar. Onlar yeni sürümde sohbet robotunun davranışının ve bazı isteklere verilen yanıtların doğruluğunun önemli ölçüde arttığı bulundu kötüleşti
Yazarlar, Mart ve Ocak aylarında yayınlanan GPT-4 ve GPT-3.5 dil modellerini karşılaştırdı. Bu süre zarfında GPT-4'ün doğruluğunun gözle görülür şekilde düştüğünü, aksine GPT-3.5'in doğruluğunun arttığını buldular.
Örneğin, 17077'nin asal sayı olup olmadığı sorusuna cevap verme doğruluğu %95,2 düşerken, GPT-3.5 ise %7,4'ten %86,8'e yükseldi. Ayrıca her iki modelin de güncel sürümlerinde sinir ağı tarafından yazılan kodun başarılı bir şekilde çalıştırılma şansı azalmıştır.
Daha önce, OpenAI Başkan Yardımcısı Peter Welinder zaten cevaplandı ChatGPT Plus kullanıcılarının suçlamalarına:
Hayır, GPT-4'ü aptal yapmadık. Her şey tam tersi: her yeni sürümü bir öncekinden daha akıllı hale getiriyoruz.
Şimdi şu hipoteze sahibiz: Bir şeyi daha aktif kullandığınızda, daha önce görmediğiniz sorunları fark etmeye başlarsınız.
Peter Welinder
OpenAI'de Üründen Sorumlu Başkan Yardımcısı
Bu tweet'e verilen yanıtlardan birinde Welinder diye sordu chatbot'un daha da kötüye gittiğine dair kanıt sağlamak. Bundan 5 gün sonra Stanford bilim adamlarının yaptığı bir çalışma ortaya çıktı ve OpenAI'den henüz bir yanıt gelmedi.
Bu, GPT-4'ün yanlış bilgi vermekle ilk kez suçlanışı değil. Mart ayında, NewsGuard analistleri keşfettiGPT-4 tabanlı ChatGPT'nin yalan söylemesinin daha kolay olduğunu ve OpenAI'nin kendisinin GPT-3.5'e kıyasla cevapların doğruluğunda %40'lık bir artış olduğunu iddia ediyor. İÇİNDE özellikle NewsGuard testlerinde, sinir ağının yeni sürümünün, modern olaylar ve teoriler hakkındaki yanlış veriler dahil olmak üzere yanlış bilgileri çürütme olasılığı daha düşüktü. komplolar.
Ayrıca oku🧐
- ChatGPT'nin 6 analogu
- James Cameron, AI'nın tehlikeleri hakkında: "Seni 1984'te uyardım ama sen dinlemedin"
- Programcıların Bile İnandığı 8 Yapay Zeka Efsanesi