header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

AI開始自動改Agent Harness了:Opus 5四項拿三項第一

動察 Beating AI 快訊,Scale AI 推出 HarnessOpt-Bench,專門測試 AI 能不能自己修改 Agent 的 harness,把另一個 Agent 調得更強。

Harness 就是包在模型外面的那套程式,包括 prompt、工具、記憶和工作流程。測試時,AI 會拿到一個故意沒有充分優化的 harness,根據跑分和失敗案例不斷改程式碼,但裡面的模型本身不變。

改完之後,Scale 再拿一批它從沒見過的測試題考試,看改完後的 Agent 到底有沒有真的變強。這樣可以避免 AI 只針對已知題目刷分。

Scale 用 Claude Opus 5、GPT-5.6 Sol、Kimi K3 等 5 個模型,在 4 類任務上跑了 111 次。Opus 5 表現最好,4 項拿下 3 項第一。

整體來看,負責改 harness 的模型是誰,比它用 Claude Code、Codex 還是 OpenCode 來改程式碼更重要。

不過這還不是真正的「AI 自我改進」。因為這次是一個 AI 去改另一個 Agent 的 harness,而且起始 harness 本來就故意留了不少優化空間。

举报 糾錯/舉報
相關推薦
答案不是更強的模型,而是架構
V4-Pro-Max(最高推理力度模式)自稱當前最強開源模型,編碼基準達到頂級,推理和 agent 任務與閉源前沿差距顯著縮小
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成