原文來源：Wired
原文作者：Will Knight

研究人員利用分佈在全球各地的 GPU 集群，同時融合私有與公開數據，成功訓練出一類新型大語言模型（LLM）——這一突破可能顛覆當前人工智慧的主流構建範式。

兩家採用非傳統路徑的 AI 新創公司 Flower AI 與 Vana 聯手打造了這個名為 Collective-1 的新模型。 Flower AI 開發出允許訓練任務分散至數百台連網電腦的技術，其方案已被多家企業用於無需集中算力或資料的 AI 模型訓練。 Vana 則提供了包含 X 平台、Reddit 及 Telegram 隱私權訊息在內的多元化資料來源。

以現代標準衡量，Collective-1 規模較小——其 70 億參數量（這些數值共同決定了模型能力）與當今最先進模型（如支撐 ChatGPT、Claude 和 Gemini 的模型）動輒數千億的參數規模相去甚遠。

劍橋大學電腦科學家、Flower AI 共同創辦人 Nic Lane 指出，這種分散式方法有望突破 Collective-1 的規模限制。他透露 Flower AI 正在用傳統數據訓練 300 億參數模型，並計劃今年稍後開發千億參數模型——接近行業領導者的水平。 "這或將徹底改變人們對 AI 的認知，我們正全力推進，"Lane 表示。這家新創公司還將圖像與音訊納入訓練，以創建多模態模型。

分散式建模也可能重塑 AI 產業的權力格局。

目前 AI 公司建置模型依賴兩大支柱：海量訓練資料與集中在資料中心的龐大算力－這些資料中心透過超高速光纖網路連接先進 GPU 叢集。它們也嚴重依賴網頁抓取的公開資料集（儘管部分涉及版權資料），包括網頁和圖書內容。

這種模式意味著，只有財力雄厚的企業及能獲取大量高階晶片的國家，才可能開發最有價值的尖端模型。即便是 Meta 的 Llama 和深度求索的 R1 等開源模型，也出自擁有大型資料中心的企業之手。而分散式方法讓中小企業和大學能透過整合分散資源開發生態 AI，或使缺乏傳統基礎設施的國家透過連網多個資料中心建構更強模型。

Lane 認為 AI 產業將日益青睞突破單一資料中心限制的新方法。 "相較於資料中心模式，分散式方案能更優雅地擴展算力，"他解釋。

安全與新興技術中心 AI 治理專家 Helen Toner 評價 Flower AI 的方案"對 AI 競爭與治理具有潛在重大意義"。她指出："雖可能仍難匹敵最前沿技術，但作為快速跟隨策略頗具價值。"

分而治之

分散式 AI 訓練的核心在於重構算力分配邏輯。建構大語言模型需向系統輸入海量文本，透過調整參數使其產生有效回應。傳統資料中心會將訓練任務分割到不同 GPU 執行，再定期整合為統一主模型。

新技術使得原本需在大型資料中心完成的工作，可分散到相隔數英里、僅靠普通網路連接的硬體設備上執行。

產業巨頭也在探索分散式學習。去年Google研究人員提出的"分散式路徑組合"（DiPaCo）新框架，提升了分散式訓練效率。而為建構 Collective-1 等模型，Lane 與中英學者共同開發了名為 Photon 的新工具，採用更有效率的資料表徵方式和訓練共享整合方案。 Lane 坦言流程雖比傳統訓練慢，但彈性較強，隨時可添加硬體加速訓練。

Photon 由北京郵電大學和浙江大學研究人員參與開發，上月已開源。 Flower AI 的合作方 Vana 則致力於讓用戶以新方式向 AI 建構者分享個人數據——其軟體支援用戶貢獻來自 X 和 Reddit 等平台的私有數據，並可規定使用範圍甚至獲得經濟回報。

Vana 共同創辦人 Anna Kazlauskas 表示，此舉旨在挖掘未開發資料潛力，同時賦予使用者更多控制權。 "這些通常無法進入 AI 模型的非公開數據，首次被用於基礎模型訓練，且用戶可擁有其數據所創模型的權益，"她強調。

倫敦大學學院電腦科學家 Mirco Musolesi 指出，分散式訓練的關鍵價值在於解鎖新型資料："將其應用於前沿模型，可讓 AI 產業利用醫療、金融等領域的分散敏感資料訓練，同時規避資料集中化風險。"

原文連結

歡迎加入律動 BlockBeats 官方社群：

Telegram 訂閱群：https://t.me/theblockbeats

Telegram 交流群：https://t.me/BlockBeats_App

Twitter 官方帳號：https://twitter.com/BlockBeatsAsia