header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

大型模型后訓練新發現:使用自身生成的資料進行「同軌訓練」是學生超越導師且不退化的關鍵

据動察 Beating 監測,大型模型後訓練中的「同軌採樣」(即讓模型基於自身即時生成的數據進行訓練)是防止模型退化、提高解題能力的關鍵。在線強化學習(RL)與同軌蒸餾(OPD)之所以優於傳統的監督微調(SFT),本質在於它們是讓模型根據自己寫出的步驟進行優化,而不是去死記硬背外部標準答案。

SFT 強行灌輸標準答案,會將修改模型的力道均勻施加在每個詞上,極易破壞模型原有的知識結構並引發遺忘。相反,RL 和 OPD 讓模型在自己寫的草稿中尋找並強化最佳步驟。這不僅能避免「開頭寫錯一個詞,後面一路走偏」的累積誤差,且更新只發生在模型已知的知識區域內,從而最大限度保留原生能力。

在「最小程式碼編輯」實驗中,無論使用 SFT 還是 RL 導師進行同軌蒸餾,學生模型一次性寫對程式碼的成功率(Pass@1)分別達 80.0% 和 78.7%,均超越了導師模型。即使 SFT 導師因過度微調嚴重「變傻」(在 LiveCodeBench 程式碼能力測試中從 0.320 跌至 0.286),其帶出來的學生模型依然拿到 0.297 的高分,幾乎未受導師缺陷拖累,證明同軌練習能有效過濾導師的壞習慣。

目前,DeepSeek-V4 與 GLM-5 已引入同軌蒸餾來合併專家模型能力。在專家訓練中,程式碼和數學等有明確對錯的領域更適合 RL,而創意和知識類主觀任務更適合同軌蒸餾。未來的終極微調演算法,勢必要在同軌訓練框架下,尋找兼具蒸餾高效率(高信息密度)與 RL 客觀性(無偏更新)的新機制。

举报 糾錯/舉報
相關推薦
技術革命的底色,永遠是廉價勞動力的規模化消耗
在業務高速擴張之際,Anthropic 卻主動呼籲「踩剎車」。
一個人要把自己放進多大的機器裡,才不算浪費了自己的聰明。
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成