動察 Beating AI 快訊,字節跳動大模型團隊 Seed 完成新一輪組織調整。Seed Foundation Model 新設四個一級部門,把此前分散在文本、程式碼、視覺和語音等方向的數據、後訓練團隊重新合併。核心變化是統一預訓練數據和強化學習,同時把應用後訓練拆成 Work 和 Chat 兩條線。
Pretrain Data 統一負責 Omni 模型的多模態數據,以及超大模型預訓練所需的數據。Horizon RL 集中負責強化學習,提升模型基礎能力。Product Posttrain-Work 面向辦公和 B 端,重點優化模型調用工具、操作電腦和執行長任務的能力。原 Application 團隊則更名為 Product Posttrain-Chat,繼續負責 C 端對話模型。四個部門均向吳永輝匯報。
過去 Seed 更多按文本、程式碼、視覺、語音等方向分團隊,各自都有數據和後訓練人員。現在字節希望下一代模型直接走向 Omni,讓不同模態進入同一個基座。Seed 此前還在討論訓練超過 5 萬億參數的模型。模型越大、模態越多,原來分散的研發方式也越容易出現重複投入。
類似的調整也出現在騰訊。騰訊 7 月將混元的大語言模型和多模態團隊合併,由姚順雨統一負責。字節這次還專門成立了 Work 後訓練部門,說明辦公 Agent 已經成為基礎模型團隊單獨優化的一條產品線。