据動察 Beating 監測,ARC-AGI-3 評測機構 ARC Prize 此前要求所有模型使用同一套簡單調用方式,避免廠商靠定制框架拉高分數。這樣更容易看清模型本身的能力。
回應 OpenAI 的爭議測試時,官方口徑開始鬆動。ARC Prize 承認,保留歷史推理、壓縮過長的上下文,確實能提升模型處理長任務的表現,並已開始研究如何把這類功能加入正式評測。
ARC-AGI 創始人 François Chollet 給出的邊界是:專門為 ARC 開發的框架仍然不行;所有 API 用戶都能使用的通用設置可以考慮。他認為,各家用了什麼設置、花了多少錢,都應該公開。
一旦放行廠商自帶的記憶和上下文管理,ARC-AGI-3 比較的就不再只是模型,還會包含各家 API 背後的工程能力。