動察 Beating AI 快訊,AMD 宣佈完成對加拿大 AI 晶片公司 Taalas 的收購。雙方今年 8 月達成協議,交易總價值最高約 29 億美元,其中最多 14 億美元需要滿足約定條件才會支付。
Taalas 走了一條與傳統 GPU 完全不同的路線:在製造晶片時,就把 AI 模型的參數直接固化進電路。
普通 GPU 需要反覆從顯存讀取模型參數。Taalas 把存儲和計算放在一起,減少了數據搬運,也省去了昂貴的高帶寬顯存(HBM)及相關複雜封裝。
今年 2 月,Taalas 推出首款晶片 HC1,專門運行 Meta 的 Llama 3.1 8B 模型。按官方測試,在輸入和輸出各 1000 Token 的條件下,單用戶生成速度達到每秒約 1.7 萬 Token,接近當時 Cerebras 的 9 倍。
但這種設計也犧牲了靈活性。普通 GPU 可以隨時加載不同模型,HC1 雖然支持 LoRA 微調,但更換基礎模型仍需修改製造光罩、重新生產晶片。Taalas 給出的週期是約兩個月。
HC1 還採用了激進的 3-bit 和 6-bit 量化,雖然大幅壓縮了模型參數,但也損失了部分模型質量。目前每秒 1.7 萬 Token 的成績僅來自 Llama 3.1 8B,更大模型的實際表現還有待驗證。
AMD 準備將這項技術納入未來的 AI 加速器產品,與現有的 Instinct GPU 搭配使用,讓專用晶片承擔固定模型的高頻推理任務。