動察 Beating AI 快訊,騰訊首席 AI 科學家姚順雨與混元研究團隊在 Reddit 舉行公開問答,透露了下一代混元模型的研發計劃。
有開發者問,字節跳動、Kimi 等廠商都在探索數萬億參數的大模型,為什麼混元仍停留在約 7000 億參數規模?
騰訊回應,較小但訓練紮實的模型也能超越更大的模型,而且訓練成本更低。但團隊仍然相信 Scaling Law,下一代 Hy 模型將顯著擴大參數規模,現有 Hy4 也將通過大規模強化學習繼續提升能力。
騰訊還透露了能夠在個人電腦上本地運行的小模型路線圖。Hy4-mini 已列入計劃,更輕量的 Flash-Lite 也將推出。