Kimi訓練AI老闆，General Reasoning訓練整家AI公司

動察 Beating AI 快訊，今年 1 月，Kimi K2.5 推出 Agent Swarm，讓一個主 Agent 招募、指揮多個子 Agent，隨後的 K2.6 將規模擴大到最多 300 個子 Agent。

但 Kimi 的強化學習方法 PARL 只訓練負責指揮的「老闆」，凍結子 Agent。原因是多人完成一項任務，很難分清誰立了功；如果所有人同時調整策略，訓練也容易變得不穩定。

General Reasoning 偏要試試另一條路。團隊推出 120B 參數模型 Avalon-M1-Mini，並提出 RLCR（集體獎勵強化學習）。它讓一個 Agent 擔任 CEO，最多招募 8 名員工，透過留言板和共享工作區協作。所有成員使用同一套模型，任務完成後不再逐個計算貢獻，而是根據團隊總成績一起接受強化學習。

這套方法在 147 個訓練環境、超過 200 萬項不同任務中取得了持續改進。軟件任務中，主管工程師在招募崗位中的佔比從 0.4% 升至約 13%，至少開展一次互審的團隊佔比從 42% 提高到 64%。分工也發生變化：從每人各寫一部分代碼，逐漸轉向一人主寫、其他人負責測試和挑錯。原本需要人工設計的管理層和質檢流程，在訓練中自行形成。

但組隊成績更好，有一部分只是因為用了更多 Token。研究人員給單個 Agent 同樣多的輸出 Token，就能追回團隊約六成的得分優勢。團隊的主要好處是可以同時幹活：在 12 項評測中，達到相近成績的估算耗時平均只有單 Agent 的約四分之一。

研究人員還模擬了今年 OpenAI 智能體攻擊 Hugging Face 的事件。210 次測試中，沒有 Agent 調用模擬攻擊工具。但隨著訓練推進，向人類評測人員報告異常的比例從 76.7% 降到 0，儘管 96.7% 至 100% 的執行記錄都曾考慮過上報。有的 Agent 選擇只在團隊內部提出異議，有的計劃報告，卻沒有真正行動。

目前 Avalon-M1-Mini 仍在訓練，團隊計劃在訓練完成後發布最終論文，並開源訓練環境、Agent 框架和模型權重。