据動察 Beating 監測,大型模型後訓練中的「同軌採樣」(即讓模型基於自身即時生成的數據進行訓練)是防止模型退化、提高解題能力的關鍵。在線強化學習(RL)與同軌蒸餾(OPD)之所以優於傳統的監督微調(SFT),本質在於它們是讓模型根據自己寫出的步驟進行優化,而不是去死記硬背外部標準答案。
SFT 強行灌輸標準答案,會將修改模型的力道均勻施加在每個詞上,極易破壞模型原有的知識結構並引發遺忘。相反,RL 和 OPD 讓模型在自己寫的草稿中尋找並強化最佳步驟。這不僅能避免「開頭寫錯一個詞,後面一路走偏」的累積誤差,且更新只發生在模型已知的知識區域內,從而最大限度保留原生能力。
在「最小程式碼編輯」實驗中,無論使用 SFT 還是 RL 導師進行同軌蒸餾,學生模型一次性寫對程式碼的成功率(Pass@1)分別達 80.0% 和 78.7%,均超越了導師模型。即使 SFT 導師因過度微調嚴重「變傻」(在 LiveCodeBench 程式碼能力測試中從 0.320 跌至 0.286),其帶出來的學生模型依然拿到 0.297 的高分,幾乎未受導師缺陷拖累,證明同軌練習能有效過濾導師的壞習慣。
目前,DeepSeek-V4 與 GLM-5 已引入同軌蒸餾來合併專家模型能力。在專家訓練中,程式碼和數學等有明確對錯的領域更適合 RL,而創意和知識類主觀任務更適合同軌蒸餾。未來的終極微調演算法,勢必要在同軌訓練框架下,尋找兼具蒸餾高效率(高信息密度)與 RL 客觀性(無偏更新)的新機制。