header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

FreeToken開源:一張 5090 跑 DeepSeek-V4-Flash,最高 25 Token/s

動察 Beating AI 快訊,柏克萊、MIT 等研究者開源 FreeToken。這是一個專門為本地設備設計的 MoE(混合專家模型)推理引擎,主要解決超大模型顯存裝不下的問題。它會把部分權重放在系統內存,並讓 CPU 和 GPU 一起參與推理。


FreeToken 會把模型的大量專家權重放在系統內存,只把一部分緩存在顯存。遇到顯存裡沒有的專家時,它會根據 PCIe 和 CPU 內存帶寬,動態決定是把權重搬到 GPU,還是直接交給 CPU 計算。這樣 CPU、GPU、系統內存和 PCIe 可以一起參與推理。


論文實測,一台配備 RTX 5090 的遊戲台式機運行 284B 參數的 DeepSeek-V4-Flash,可以達到 22–25 Token/s。這款模型每生成一個 Token 實際只激活約 13B 參數,因此特別適合這種 CPU、GPU 混合推理。


FreeToken 還在 8GB 顯存的 RTX 4060 筆記本上把 35B 模型跑到 39.3 Token/s;單張 96GB RTX PRO 6000 則可以運行 753B 參數的 GLM-5.2,速度達到 llama.cpp 的約兩倍。項目目前支持超過 20 款 MoE 模型,並已採用 Apache 2.0 許可證開源。

举报 糾錯/舉報
相關推薦
前方路途不再容许闭着眼睛前行。
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成