header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP

腾訊混元把Hy3壓到1bit,2950億參數單卡可執行

動察 Beating 監測,腾讯混元发布 Hy3 的 1bit 和 4bit 壓縮版本,大幅降低這款 2950 億參數模型的部署門槛。Hy3 原始權重接近 600GB。1bit 版本縮小至 85.5GiB,一張 96GB 的英偉達 H20 就能運行。

單卡運行時,用戶需要關閉部分加速功能,並縮短模型一次處理的文本長度。使用兩張 H20 後,可以開啟加速。4bit 版本體積為 169.9GiB,需要至少兩張 H20。它佔用更多顯存,但效果更接近原始模型。

腾訊混元稱,4bit 版本在代碼、工具調用、長文理解和 Agent 任務上接近原始模型。1bit 版本也只出現小幅下降。開啟生成加速後,1bit 版本速度提升約 50%,4bit 版本提升接近 60%。

腾訊混元還提供了適合伺服器部署的 4bit 版本,可做成 API,供多個用戶或應用調用。

举报 糾錯/舉報
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成