動察 Beating AI 快訊,資深晶片設計師及硬體分析人士「Mr. Bubble」在 Frictionless Podcast 採訪中表示,AI 算力基礎設施的核心瓶頸正從單純提升晶片算力,轉向先進封裝、系統互連延遲以及存儲層級管理。
Mr. Bubble 認為,先進製程成本快速上升,而電晶體密度提升幅度有限,使傳統摩爾定律面臨經濟性挑戰。相比繼續縮小製程,行業正更多通過先進封裝將多顆晶片連接為一個計算系統。他指出,未來 AI 算力的基本單位可能不再是單顆晶片或伺服器,而是完整機架甚至多個機架,PCB、封裝和互連能力將成為關鍵限制因素。
在存儲方面,他認為,隨著 AI 推理上下文窗口擴大,海量歷史上下文不應全部佔用昂貴的 HBM,行業可能更多採用快閃記憶體卸載,將高頻數據留在 HBM,低頻上下文遷移至更大容量、更低成本的存儲層。他進一步預計,3D DRAM 可能成為下一代記憶體技術的重要方向。
對於 AI 基礎設施投資,Mr. Bubble 認為,隨著預填充與解碼逐步採用分離式架構,系統級硬體設計的重要性將進一步提升。他還表示,與直接押注大模型公司相比,擁有硬體、封裝、存儲及其他關鍵基礎設施能力的企業可能在 AI 產業鏈中扮演更長期的角色。