header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

英偉達、AMD、英特爾罕見聯手:9家企業共建SGLang開源推理聯盟

動察 Beating AI 快訊,在首屆 SGLang Summit 上,平日競爭激烈的 NVIDIA、AMD 和 Intel 罕見地站到了同一陣營。


三家晶片巨頭與 Google、Meta、Thinking Machines Lab、Cloudflare、Modal、RadixArk 共同成為 SGLang 聯盟的 9 家創始成員,參與制定這款開源 AI 推理引擎的未來路線圖。峰會吸引超過 2000 人現場參加。


SGLang 是大模型運行時的底層軟體,負責處理用戶請求、調度 GPU、管理顯存和復用計算結果。它直接決定一張晶片能以多快的速度、多少成本運行 AI 模型。


SGLang 此前已經支持 NVIDIA、AMD、Intel 等多種硬體。此次成立聯盟,意味著晶片廠商將更系統地參與共同開發,投入工程師、測試資源,並推動各自硬體的效能優化。


聯盟成員每年舉行兩次路線圖會議,但最終技術決策和代碼合併權仍由 SGLang 維護團隊掌握。


SGLang 官方稱,目前已有 332 家機構採用該項目。Meta 也在峰會上披露,相比此前的推理方案,遷移至 SGLang 後,其大規模生產環境中的 GPU 資源節省超過一半。


峰會還宣布了 SGLang v1.0 的開發方向,重點提升生產環境的穩定性和兼容性,正式版本仍在開發中。此外,SGLang 已推出 AWS Trainium 晶片的公開預覽支持,並與 Intel 合作優化其 CPU、GPU 和加速器。強化學習框架 Miles v0.2 也已發布。

举报 糾錯/舉報
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成