header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

谷歌發布超輕量 Gemma 4 模型,手機本地運行記憶體首次降至 1GB 以下

据動察 Beating 監測,Google 發布了針對 Gemma 4 大模型的量化壓縮版模型權重。量化是一種通過降低數值精度來縮小模型體積的技術,但通常會導致模型變笨。為了解決精度損失問題,Google 本次採用了量化感知訓練技術,在模型訓練過程中提前模擬壓縮狀態,讓模型自動調整以適應低精度運行,從而在模型體積大幅縮小的同時,依然保持極高的智能水平。

通過專門的移動端壓縮技術,Gemma 4 E2B 純文本模型在手機等端側設備上運行的內存佔用可降至 1GB 以下。為了保證手機本地運行足夠流暢,Google 專門對移動端芯片進行了針對性優化。開發團隊將大部分計算工作提前在訓練階段完成,以減輕手機芯片的實時負擔,並採用更適配手機硬件的計算結構進行原生加速。團隊還對詞彙表與緩存進行了深度壓縮。此外,針對負責生成 Token 的特定層實施了 2-bit 極度壓縮,僅保留核心推理層的高精度,從而在最大化節省存儲空間的同時,不影響核心邏輯性能。

新模型權重現已在 Hugging Face 開源發布。個人用戶可以通過 Ollama 以及 LM Studio 直接在個人電腦上本地下載並運行。對於移動端和網頁端開發者,新權重已同步支持 LiteRT-LM 引擎,且支持通過 Transformers.js 直接在網頁端運行。同時,vLLM、SGLang 以及蘋果芯片加速工具 MLX 也已完成兼容適配,方便開發者快速部署。

举报 糾錯/舉報
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成