header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

Unsloth 攜手壓縮至極致的 753B 模型 GLM-5.2,實現在 Mac 上本地流暢部署運行

据動察 Beating 監測,Unsloth AI 宣布通過動態量化技術將智譜 AI 的 753B 參數大模型 GLM-5.2 體積壓縮 80% 以上,並發布支持 Mac 本地部署的 GGUF 格式版本。通過動態 1-bit 和 2-bit 量化,原本高達 1.51 TB 的模型能夠縮減至 217 GB(1-bit 變體)至 239 GB(2-bit UD-IQ2_M 變體),讓普通開發者與中小企業僅憑單台 Mac Studio 即可本地離線部署運行。

量化版本在 Mac Studio M3 Ultra(256 GB 統一內存)設備上跑出了 21.6 tokens/s 的流暢速度,且保留了原始模型 76% 到 82% 的精度。在 Unsloth AI 發布的對比測試中,完全運行在本地時的 1-bit 級別 GLM-5.2 GGUF 面對編寫帶有獨立像素風、音效和粒子系統的完整 HTML5 遊戲(Flappy Bird 複刻版《Sunset Flier》)提示詞,生成質量與 Claude 4.8 Opus 和 GPT-5.5 相當。

作為智譜 AI 推出的開源混合專家(MoE)模型,GLM-5.2 擁有 753B 總參數與 100 萬 token 上下文。傳統部署模式下運行超大模型必須搭建高昂的雲端多卡算力集群,而動態量化方案的發布打破了硬件壁壘,大幅降低了個人與小型團隊獨立部署頂級開源模型的門檻。目前,GLM-5.2 GGUF 權重已在 Hugging Face 平台開放下載,用戶能夠通過 llama.cpp 或 Unsloth Studio 直接加載運行。

举报 糾錯/舉報
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成