根據動察 Beating 監測,英國《金融時報》援引三名知情人士稱,字節跳動已經開始預訓練一款最高 10 萬億參數的大模型。項目仍處於早期階段,最終規模尚未確定。如果按上限訓練,它將達到 Kimi K3 的三倍以上,成為目前已知中國團隊中參數規模最大的模型。
字節這次直接把模型尺寸推到了 Anthropic 旗艦附近。Anthropic 從未公佈 Mythos 5 的參數量,但《金融時報》援引行業估算稱,Mythos 5 約為 8 萬億參數,Fable 5 約為 5 萬億。字節新模型若做到 10 萬億,至少在參數規模上已經進入美國最前沿閉源模型的同一量級。
這款模型目前還在預訓練(用海量數據訓練模型的基礎能力)。《金融時報》稱,這一階段通常需要 3 至 6 個月,之後還要繼續後訓練,順利才會發布。參數更多也不等於能力一定更強,最終表現還取決於架構、訓練數據和訓練方法。
張一鳴近期在 Seed 內部明確反對蒸餾競爭對手模型,要求團隊接受短期落後,靠自研衝擊世界第一梯隊。這款最高 10 萬億參數的新模型,是字節目前最激進的一次規模下注。