Underdog把Qwen3.8-27B壓到7.89GB：工具調用自測超過原版

動察 Beating AI 快訊，a16z 投資的本地 AI 助手 Underdog 發布 Saluki 27B，基於阿里 Qwen3.8-27B 製作。模型採用約 2-bit 量化，體積從全精度版本的約 54GB 縮小至 7.89GB。官方稱，16GB 記憶體的筆記本就能運行，並支持通過 llama.cpp 等現有工具部署。模型權重已按 Apache 2.0 協議開放。

Saluki 使用了奧地利科學技術研究所 ISTA-DASLab 的量化成果。該實驗室此前已將 Qwen3.8-27B 壓縮至約 8.4GB。Underdog 在此基礎上進一步縮小體積，並重點優化工具調用表現。

在從 BFCL 選出的 120 道工具調用題中，Saluki 做對 88 道，ISTA 量化版做對 76 道，54GB 原版做對 84 道。在 50 個真實 GitHub 問題修復任務中，Saluki 解決了 30 個，原版解決 33 個。

官方稱，Saluki 在 9 項評測中平均保留了原版 96% 的成績，但不同任務的表現差距較大。數學競賽和複雜推理成績分別只達到原版的約 83% 和 85%。