header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

張一鳴:Seed訓練數據少幾個數量級,字節最早2029年才能與OpenAI、Anthropic競爭

動察 Beating AI 快訊,張一鳴近日在 Seed 團隊全員會上給出了一個時間表:字節跳動最快也要到 2029 至 2030 年,才有望在前沿 AI 領域與 OpenAI、Anthropic 競爭。


張一鳴特別指出,Seed 大語言模型使用的預訓練數據集,比頂尖對手小了幾個數量級。


字節在 AI 領域其實已經拿到了不少好牌。豆包是國內用戶規模最大的 AI 聊天應用,Seedance 也躋身全球頂尖視頻生成模型行列。偏偏通用語言模型沒有跟上。今年 6 月發布 Seed2.1 時,團隊自己也承認,模型在高難度開放任務和前沿科研問題上還有明顯短板。


字節為此準備投入天量資金。今年 5 月,公司曾討論將全年資本開支提高至最高 700 億美元,主要用於建設 AI 數據中心等基礎設施。8 月又傳出,Seed 正在預訓練一款最高達 10 萬億參數的大模型,規模超過國內所有公開的大模型。


張一鳴也不願靠蒸餾走捷徑。所謂蒸餾,就是拿 Claude 等領先模型生成的答案,反過來訓練自己的模型。今年 8 月,他就明確表示,這種辦法短期內確實能改善表現,但學來的終究是別人已有的能力,最多只能不斷逼近,很難真正超越。Seed 內部還通過 API 檢測和訓練數據過濾,限制第三方模型的輸出進入訓練集。


為了追趕,字節也在不斷招人、留人。Seed 目前約有 1000 名研發人員,由張一鳴去年從 Google DeepMind 挖來的吳永輝帶隊。字節還專門推出了與豆包業務掛鉤的虛擬股「豆包股」,符合條件的員工還可以選擇把年終獎領成豆包股,分享業務增長帶來的收益。


字節計劃未來幾週推出一款類似 Meta Muse 的個人 AI 助手,讓用戶通過語音和虛擬形象與 AI 交互,並讓它代為完成任務。豆包內部代號為「Spell」的個人助理項目早在 4 月便開始內測,後來因豆包手機發布等原因,一直沒有正式推出。Meta Muse 爆火後,字節加快了進度,國慶假期前就在趕研發,計劃將 Spell 與豆包進一步整合。

举报 糾錯/舉報
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成