header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

羅福莉:大型模型進入後訓練時代,頂尖團隊預訓練與後訓練算力比達1:1

据動察 Beating 監測,小米大模型團隊負責人羅福莉指出,大模型競爭已從預訓練主導的 Chat 時代,全面轉向後訓練(Post-train)主導的 Agent 時代。當前的核心賽點是「如何在 Agent 上做好強化學習(RL)的 scaling」。

這一範式轉變直接導致算力分配的重構。羅福莉透露,在 Chat 時代,用於研究、預訓練和後訓練的算力比例約為 3:5:1;而在如今的 Agent 時代,合理的算力分配比例變為 3:1:1,即預訓練與後訓練的算力投入已基本相當,目前頂尖模型團隊在這兩項的投入比例已達到 1:1。

同時,系統架構的要求也發生巨變。過去的 RL 基礎設施主要以「模型推理引擎」為核心,處理純文字演算;現在的基建必須以「Agent」為核心,支持異構集群調度,並能容忍 Agent 在複雜工作流中因各類不可控因素中斷的模糊性。

举报 糾錯/舉報
相關推薦
一個人要把自己放進多大的機器裡,才不算浪費了自己的聰明。
A16Z 創辦人認為 DeepSeek R1 是他所見過的最令人驚奇和令人印象深刻的突破之一,作為開源,這是給世界的一份意義深遠的禮物。
技術從來就不應該是高高在上的奢侈品
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成