header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

AMD完成約29億美元收購Taalas:把AI模型刻進晶片,每秒生成1.7萬Token

動察 Beating AI 快訊,AMD 宣佈完成對加拿大 AI 晶片公司 Taalas 的收購。雙方今年 8 月達成協議,交易總價值最高約 29 億美元,其中最多 14 億美元需要滿足約定條件才會支付。


Taalas 走了一條與傳統 GPU 完全不同的路線:在製造晶片時,就把 AI 模型的參數直接固化進電路。


普通 GPU 需要反覆從顯存讀取模型參數。Taalas 把存儲和計算放在一起,減少了數據搬運,也省去了昂貴的高帶寬顯存(HBM)及相關複雜封裝。


今年 2 月,Taalas 推出首款晶片 HC1,專門運行 Meta 的 Llama 3.1 8B 模型。按官方測試,在輸入和輸出各 1000 Token 的條件下,單用戶生成速度達到每秒約 1.7 萬 Token,接近當時 Cerebras 的 9 倍。


但這種設計也犧牲了靈活性。普通 GPU 可以隨時加載不同模型,HC1 雖然支持 LoRA 微調,但更換基礎模型仍需修改製造光罩、重新生產晶片。Taalas 給出的週期是約兩個月。


HC1 還採用了激進的 3-bit 和 6-bit 量化,雖然大幅壓縮了模型參數,但也損失了部分模型質量。目前每秒 1.7 萬 Token 的成績僅來自 Llama 3.1 8B,更大模型的實際表現還有待驗證。


AMD 準備將這項技術納入未來的 AI 加速器產品,與現有的 Instinct GPU 搭配使用,讓專用晶片承擔固定模型的高頻推理任務。

举报 糾錯/舉報
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成