据動察 Beating 監測,針對大模型在自我糾錯時極易產生盲目自信的通病,Anthropic 團隊在機器學習訓練挑戰中進行對比測試。實驗不讓 Fable 5 進行自我批判,而是通過 CMA 的 Outcomes 功能在獨立上下文視窗中生成一個評分智慧體,依據包含 9 項指標的規範文件充當裁判。
結果表明,引入獨立裁判的循環設計,讓 Fable 5 對訓練流水線的改進幅度達到 Opus 4.7 的 6 倍。Fable 5 不僅傾向於嘗試重大架構調整,即使遭遇量化回退也能死磕修復,展現出極強的工程韌性。相比之下,Opus 4.7 則因決策局限性,陷入僅按模板微調標量常數的保守狀態。
在另一項考察跨會話在線學習的數據庫問答實驗中,團隊利用可共享的掛載文件系統,總結出大模型高效利用記憶的五步法,即記錄失敗、診斷原因、驗證事實、提煉通用規則以及直接檢索規則。
對比測試發現,不同模型的表現存在嚴重階梯。Sonnet 4.6 僅會敷衍地記錄錯誤和盲目猜測,幾乎從不查閱歷史。Opus 4.7 能夠建立帶不確定標記的模式引用,但驗證覆蓋率僅為 17% 左右。Fable 5 則能夠完整走完記憶鏈條,驗證覆蓋率高達 73% 並將診斷總結為通用規則。
實驗表明,設計出能夠響應反饋的自我糾錯循環與自主記憶管理,比直接編寫提示詞引導大模型更具實戰價值。