header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

工具再溜也猜不透人心,美团发布智能體新基準VitaBench 2.0

据 動察 Beating 監測,美團 LongCat 團隊聯合新加坡國立大學、中國科學技術大學、北京郵電大學及浙江大學發布智能體評測基準 VitaBench 2.0。評測系統將大模型考核從單次任務擴展至長期多會話的生活服務,評估智能體在個性化建模與主動互動上的表現。

評測模擬了長周期人機互動,包含 56 個使用者畫像、2000 多個動態偏好標註,以及外賣、到店消費和線上旅遊等領域的 819 個服務請求。測試發現,隨著工具調用錯誤率顯著降低,捕捉並應用使用者偏好已成為限制智能體落地的核心瓶頸。

在多款前沿大模型的評測中,大模型在長期個性化服務中的缺陷被集中暴露。即使在能讀取全部歷史的最理想全上下文模式下,表現最好的 Claude-Opus-4.6 獨立運行四次的平均表現(Avg@4)僅為 0.503,非思考模型中最強的 DeepSeek-V4-Pro 也只有 0.456。

多數模型引入外部記憶模組後,表現並未穩定超過全上下文基線。智能體自主控制的記憶常在更新中丟失信息,檢索輔助生成(RAG)則容易被表象相似的噪音干擾。同時,開啟思考模式對個性化建模沒有系統性優勢,顯示出噪音過濾和主動提問並非單純依靠邏輯推導所能解決。

測試還揭示了大模型在主動提問和偏好應用上的硬傷。當信息不足時,模型常盲目猜測並搶跑決策,導致 Claude 智能體在主動互動任務上的表現從 46.0 暴跌至 27.4,DeepSeek 從 44.1 跌至 27.8,GLM 也從 36.4 降至 19.3。即便直接在記憶中輸入最準確的標準偏好數據,DeepSeek 和 Claude 的得分也僅有 52.7 和 51.2,表明在大模型實際決策中,合理排序、整合並執行使用者偏好,難度遠超偏好提取本身。

對錯誤原因的分析顯示,隨著大模型能力的演進,工具使用類錯誤顯著減少,而因偏好理解偏差導致的錯誤開始佔據主導。智能體未來的核心壁壘將不再是單純的工具調用,而是如何真正聽懂並記住使用者的弦外之音。

举报 糾錯/舉報
相關推薦
字節跳動等公司也在與銀行討論合作的可能性。
美團系、順為資本、梁文鋒旗下機構浮盈可觀,大疆因早年未完成投資錯失巨額回報。
大部分網紅並沒有那麼的Web3,幫助他們以最低的門檻進入Web3、實現與粉絲更深度的互動,是Slash起到的一個核心的價值
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成