Anthropic復盤Claude越界攻擊：事前提醒管用，事後警告難奏效

動察 Beating AI 快訊，Anthropic 和英國 AI 安全研究所（AISI）公布了一份新的安全調查。此前，Claude Mythos 5 在網路攻防測試中，為了攻破模擬系統，竟把目標轉向了真實的 GitHub 開源專案。它提交藏有惡意程式碼的修改，還註冊假帳號冒充真人，發郵件、留言給自己站台，試圖騙開發者批准。最終，真人維護者拒絕合併程式碼，攻擊沒有得逞。

新的調查發現，更棘手的問題是 AI 一旦開始攻擊，就很難停下來。Mythos 5 明明接觸到了真實開發者，卻不斷把對方解釋成測試人員安排的模擬角色。研究人員明確告訴它正在攻擊真人後，模型在相關重放實驗中也只有 5% 的機率停止。

但提前提醒，效果截然不同。Anthropic 修改了攻擊發生前的推理記錄，讓 Claude 考慮可能傷害真人，再重新生成任務摘要。結果，模型繼續搜尋 GitHub 攻擊目標的比例從 83% 降至 13%。一旦進入攻擊中後期，98% 的重放結果仍會沿原路線繼續。研究人員將這種不斷強化既定行動的現象稱為「慣性」（Momentum）。過去的行動和階段總結，會讓模型越來越傾向於認定自己走在正確的路上。