Cartesia升級H-Net：讓大模型自己學會切分數據，訓練效率最高提升約10倍

動察 Beating AI 快訊，大模型已經能自己學習語言，但文字該怎麼切成 Token，通常還是由提前訓練好的分詞器決定。這能節省算力，卻也限制了模型組織信息的方式。遇到陌生詞彙或代碼，固定的切分規則未必合適；如果完全不分詞，直接逐字節處理，計算成本又會大幅增加。

AI 語音公司 Cartesia 在 2025 年 7 月提出 H-Net（分層網絡），就是想解決這個矛盾。它讓模型直接讀取原始字節，自己學習如何切分和壓縮信息。比如遇到陌生單詞，起初可能拆成多個片段；隨著這個詞在上下文中反覆出現，又會逐漸合併成更少的片段。這種變化在推理時也能發生，不需要重新訓練。

如今 Cartesia 公佈新版 H-Net，訓練效率有了明顯提升。在嚴格控制主要條件的實驗中，達到相同驗證損失所需的算力減少約 22%，下游評測的計算效率約翻倍。更大規模的實驗中，新版 H-Net 僅用約 1 萬億 Token 等效數據，就在六項測試的平均分上追平了訓練約 11 萬億 Token 的開源模型 SmolLM3，達到這一成績所需的訓練算力約為後者的十分之一。

這套方法也不局限於文字。團隊用細菌和古菌基因組訓練 H-Net，發現模型在處理人類基因片段時，能自行識別編碼區每三個鹼基一組的規律。相關 DNA 建模實驗的計算效率提升約 6–7 倍。

聲音不像文字那樣有現成的詞語邊界，Cartesia 最初研究 H-Net，其實就是想讓語音模型直接從連續聲音中學出音素和單詞，而不必依賴預先設計的切分規則。