据動察 Beating 監測,腾讯混元发布 Hy3 的 1bit 和 4bit 壓縮版本,大幅降低這款 2950 億參數模型的部署門槛。Hy3 原始權重接近 600GB。1bit 版本縮小至 85.5GiB,一張 96GB 的英偉達 H20 就能運行。
單卡運行時,用戶需要關閉部分加速功能,並縮短模型一次處理的文本長度。使用兩張 H20 後,可以開啟加速。4bit 版本體積為 169.9GiB,需要至少兩張 H20。它佔用更多顯存,但效果更接近原始模型。
腾訊混元稱,4bit 版本在代碼、工具調用、長文理解和 Agent 任務上接近原始模型。1bit 版本也只出現小幅下降。開啟生成加速後,1bit 版本速度提升約 50%,4bit 版本提升接近 60%。
腾訊混元還提供了適合伺服器部署的 4bit 版本,可做成 API,供多個用戶或應用調用。