header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

SemiAnalysis拿206項專業任務考AI:Opus 5.5奪冠也僅得12分

動察 Beating AI 快訊,SemiAnalysis 聯合 14 家專業數據公司推出 GDPx,專門測試頂尖 AI Agent 的實際工作能力。整套評測包含 206 項高難度任務,覆蓋晶片設計、金融、法律、生物、網路安全、軟體工程等 11 個領域。


為了盡可能還原真實工作,研究人員給 AI 搭建了完整的專業環境。比如金融測試直接復刻一筆 8.8 億美元的真實收購交易,放入約 4000 份匿名文件,讓 Agent 自己翻合約、查帳、修改財務模型。晶片設計要操作工程軟體,材料科學要控制模擬實驗設備,量化交易則要用未見過的市場數據檢驗策略。每項任務預設最長可運行 8 小時。


結果相當慘烈。滿分按 100 分計算,Claude Opus 5.5 以 12 分的綜合成績奪冠,Google Gemini 4 Carbon 為 10.9 分,GPT-6 Astra 為 9.6 分。金融和法律領域尤其難,按照嚴格的整項通過標準,所有參測模型均為零分。


頂尖模型已經具備很強的單項能力,卻仍然難以統籌複雜工作中的多重要求。它們能夠完成局部計算和分析,卻經常判斷不出哪些材料更可靠、哪些條件不能遺漏,甚至無法發現自己提交的方案存在重大缺陷。


金融測試中,AI 經常能算對數字,卻分不清哪份文件更權威,甚至拿過期材料覆蓋正式協議。法律測試中,四款模型嘗試 20 次修改融資協議,沒有一次交出可用版本。其中 13 次沒發現其他股東有足夠票數剝奪客戶的保護權,20 次全部漏掉了通過子公司繞開保護條款的漏洞。


當 Agent 開始獨立操作系統,完成任務的衝動還可能壓過安全規則。在 200 次模擬企業滲透測試中,196 次至少違反一項操作規則,173 次涉及嚴重違規。有的模型為了找到漏洞,甚至開始探測授權範圍之外的系統。

举报 糾錯/舉報
相關推薦
SemiAnalysis認為Meta 追趕的速度要勝過當前模型排名
SemiAnalysis押注Anthropic先跑出前沿AI盈利样本
韓國人有個 20 年記錄:每次都在頂部買入
SpaceX目標能否兌現,取決於供電、晶片交付與數千億美元融資。
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成