Chatbot Arena, aynı sorgular için sinir ağlarının yeteneklerini karşılaştırmanıza yardımcı olacak

Chatbot Arena Nedir?

Chatbot Arena, sinir ağlarının çeşitli dil modellerini test edip karşılaştırmanıza ve değerlendirmenize olanak sağlayan bir sistemdir performansının yanı sıra test parametrelerini proje gereksinimlerine göre ayarlayın ve en etkili olanı seçin seçenek.

Platform, satranç dünyasından alınan Elo derecelendirme sistemini temel alıyor. Karşılaştırma için güvenilir bir mekanizma görevi görür - bu prensibi kullanarak, sinir ağlarının neredeyse sınırsız sayıda ikili kombinasyonunu değerlendirebilirsiniz. Hizmet, dil modellerini test ederken her bir sinir ağının kullanım olanakları hakkında bilgi toplar çeşitli görevler için.

Chatbot Arena nasıl kullanılır?

ChatBot Arena, OpenAI'den GPT‑4 gibi büyük modeller de dahil olmak üzere birbirleriyle karşılaştırma yapmak için birçok dil modeli içerir ve Claude Antropik tarafından. GPT'nin ve diğer açık erişimli sinir ağlarının eski sürümleri de burada sunulmaktadır.

Resmi site

Hizmet, modelleri test etmek ve karşılaştırmak için çeşitli seçenekler sunar. "Savaş" modunda, sinir ağlarının adları görüntülenmez; o anda hangisinin tetiklendiğini bilmeden iki sistemden gelen isteğe verilen yanıtları aynı anda kontrol edersiniz. Açık karşılaştırma formunda (Yan Yana) hangi modelleri test etmek istediğinizi listeden seçebilirsiniz.

Tam bir test için, iki sohbet robotundan hangisinin daha iyi yanıt verdiği netleşene kadar giriş alanında birkaç soru sormanız gerekir. Kararınızı verdiğinizde kararınızı onaylayacak düğmelerden birine tıklayın: "A daha iyi" veya "B daha iyi." Ayrıca, her iki sohbet robotu da eşit derecede iyi performans gösteriyorsa "Beraberlik" seçeneğini veya yanıtlarından herhangi birini beğenmediyseniz "İkisi de Kötü" seçeneğini seçebilirsiniz.

Kazananı belirledikten sonra, savaş modunda ChatBot Arena otomatik olarak her bottan kendi "kimliğini" doğrulamasını isteyecek, böylece hangi modelin önde olduğunu anlayabilirsiniz. Sonuçlar genellikle yaptığınız sorgulara bağlıdır.