据动察 Beating 监测,大模型竞技评测平台 Arena 推出 AutoEval,用奖励模型(学习真人偏好的评分模型)模拟用户投票,为新模型快速生成排行榜分数。新模型发布后,不用等待数天积累真人票数,最快不到 1 小時就能獲得預估排名。該分數會標註為 AutoEval,後續再由真人投票結果校正。
這套系統基於數百萬組真實用戶偏好數據訓練。評測時,AutoEval 會比較不同模型的回答質量,並按照 Arena 原有排行榜規則計算分數。目前它支持文本、視覺、生成圖和程式碼模型評測。
Arena 回測顯示,AutoEval 與後續真人排名的相關性超過 0.98。兩款模型真實分差超過 10 分時,它判斷勝負的準確率超過 90%;分差超過 15 分時達到 100%。但當模型差距小於 5 分時,仍難以穩定區分。
