header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

Arena上線AutoEval:AI先模擬真人打分,新模型1小時就能出分

据动察 Beating 监测,大模型竞技评测平台 Arena 推出 AutoEval,用奖励模型(学习真人偏好的评分模型)模拟用户投票,为新模型快速生成排行榜分数。新模型发布后,不用等待数天积累真人票数,最快不到 1 小時就能獲得預估排名。該分數會標註為 AutoEval,後續再由真人投票結果校正。

這套系統基於數百萬組真實用戶偏好數據訓練。評測時,AutoEval 會比較不同模型的回答質量,並按照 Arena 原有排行榜規則計算分數。目前它支持文本、視覺、生成圖和程式碼模型評測。

Arena 回測顯示,AutoEval 與後續真人排名的相關性超過 0.98。兩款模型真實分差超過 10 分時,它判斷勝負的準確率超過 90%;分差超過 15 分時達到 100%。但當模型差距小於 5 分時,仍難以穩定區分。

举报 糾錯/舉報
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成