萬億參數也救不了髒數據，國內大模型開始返工預訓練

動察 Beating AI 快訊，雷峰網稱，過去大半年，多家國內大模型廠商開始重做預訓練，問題都指向數據。

一家廠商曾花近一年訓練萬億參數模型，實際效果卻被參數量只有約 1% 的小模型反超。團隊最後發現，問題出在訓練數據。網頁垃圾、重複語料、低質量標註混進訓練集，再大的模型也吃不消。該案例來自匿名信源，具體公司尚未公開。

騰訊混元已經公開重做了一輪。今年 2 月起，團隊重建預訓練和強化學習基礎設施。此前媒體曾披露，老混元存在打榜數據混入訓練集、標註規則混亂等問題。新團隊重新定數據標準，清洗原有語料，Hy3 也把數據質量和多樣性列為主要改進項。

阿里和百度也在加碼數據治理。Qwen3 用 Qwen2.5 系列模型清洗文檔，還大量補充數學和代碼合成數據。文心 4.5 則加入去重、低質量過濾、數據地圖和人工複核。兩家公司沒有公開說自己曾因髒數據返工，但新一代模型都把更多功夫花在了數據處理上。