
SGLang 聯盟成立:開源 AI 推論走向跨硬件協作
LMSYS Org 宣布成立 SGLang 聯盟,由 NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal 與 RadixArk 八家業者擔任創始成員,共同參與開源 AI 推論引擎 SGLang 的發展藍圖。這項消息影響的核心並非模型訓練,而是模型投入正式服務後,如何更有效率地回應用戶請求。
不過,這仍是一項聯盟啟動公告。TechNews 科技新報 報道指出,公告未列出功能交付日期、優先次序或獨立效能數據;因此,現階段不能據此推論任何特定模型、硬件平台或雲端環境必然有明確的速度或成本改善。
SGLang 在處理甚麼問題
推論是已訓練模型根據 prompt 產生文字、圖片或其他結果的運行階段。當服務要同時處理大量請求,開發團隊除了關注模型能力,也要處理記憶體使用、請求調度、不同輸入長度,以及多部機器分工等問題。SGLang 是面向這類工作負載的開源推論引擎。
TechNews 科技新報 報道稱,SGLang 已在數十萬顆 GPU 上運行,並獲多家企業用於正式環境的推論服務。來源列出的支援平台包括 NVIDIA 與 AMD GPU、Intel Xeon 處理器及 Google TPU。對需要部署開源模型的團隊而言,這代表推論軟件層有機會橫跨多種運算選擇,而非把部署流程完全綁定在單一硬件路線上。
聯盟改變的是協作入口,不是維護權
依 TechNews 科技新報 報道,八家創始成員各派一名技術代表,每年參與兩次藍圖會議,會議之間可成立工作小組,並公開發表方向和進度。成員可透過工程投入、部署回饋、測試資源或共同開發參與;重點範圍包括新模型、推理與多模態工作負載、分散式推論及硬件最佳化。
這樣的安排,理論上可讓大規模使用者較早把實際部署問題帶進專案規劃,也讓晶片商和雲端業者有較明確的合作渠道。TechNews 科技新報 同時指出,技術決策與程式碼採納權仍由 SGLang 維護者掌握,專案也繼續對社群開放。換言之,聯盟可影響需求討論與資源投入,但不等同成員能直接決定程式碼走向。
多硬件支援的價值,取決於工作負載
對使用雲端資源或自建 GPU 推論服務的開發團隊來說,跨 NVIDIA、AMD、Intel 與 Google TPU 的支援,潛在價值在於可按既有硬件、供應條件與模型需要評估部署方案。這是選擇空間的增加,並不表示不同平台可無差別互換。
實際效果仍會受模型架構、輸入長度、同時請求數量、是否涉及多模態內容、分散式配置,以及現有軟件堆疊影響。較務實的做法,是以自身常用模型和接近正式環境的請求組合,分別量度回應時間、吞吐量、穩定性與資源使用,再評估遷移成本;不能只根據聯盟成員名單或單一平台宣傳作決定。
LMSYS 引述 Deloitte 預測,AI 運算中的推論比重會由 2025 年約一半升至 2026 年約三分之二。若這一趨勢延續,推論軟件能否持續把不同硬件的能力轉化為可靠部署,將成為開源模型落地的重要環節。下一步可觀察聯盟公開的工作方向,是否最終形成可採納的功能、測試結果與跨平台部署經驗。
延伸閱讀
AI 輔助說明: 本文由 AI 協助整理。
參考來源
- TechNews 科技新報 — LMSYS 成立 SGLang 聯盟,輝達、AMD、Google、Meta 等八家業者共推開源 AI 推論 — original report
本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。







