英伟达、AMD、英特尔这三家互相竞争的芯片厂商,这次一起加入 SGLang 联盟,不用更换服务器里的 GPU、CPU 硬件,只靠这套开源推理框架的软件优化,就能把大模型推理吞吐做到接近翻倍,核心靠 RadixAttention 前缀缓存、连续批处理、KV 缓存复用这些技术减少重复计算;这次由 LMSYS 发起成立 SGLang 联盟,各家会一起适配自家硬件、提交内核优化代码,统一完善跨芯片的推理能力,开发者只需要在原有硬件环境部署 SGLang,替换掉旧的推理后端,就能拿到更低延迟、更高 token 吞吐的效果,降低 AI 服务的算力成本。
一、SGLang 联盟基础信息清单
- 发起组织:LMSYS(非营利开源组织)
- 官宣时间:2026 年 11 月 12 日,SGLang Summit 峰会公布
- 核心创始成员:英伟达、AMD、英特尔、Google、Meta、Cloudflare、Modal、RadixArk、Thinking Machines Lab
- 项目定位:跨硬件通用开源大模型 & 多模态模型推理服务框架
- 核心收益:同硬件下提升吞吐、降低单 token 成本、减少推理延迟
- 当前规模:全球已经有超 40 万张 GPU 在跑 SGLang
二、SGLang 核心提速技术(为什么硬件不动就能涨吞吐)
| 优化技术 | 作用说明 |
|---|---|
| RadixAttention 前缀缓存 | 复用用户对话里重复的提示词 KV 缓存,不用反复计算相同前缀,是吞吐翻倍的核心 |
| 连续批处理 + 分块 Prefill | 动态合并不同用户请求,错开预填充和解码阶段,硬件算力不空闲 |
| Prefill-Decode 分离 | 把模型计算拆成两个阶段,可分布式部署,适合长上下文、Agent 类任务 |
| 推测解码 + 量化支持 | FP4/FP8/INT4 量化,搭配小模型提前猜测 token,进一步压低延迟 |
| 跨硬件统一后端 | 一套 SGLang 命令,同时跑英伟达 CUDA、AMD ROCm、Intel XPU |
三、主流硬件适配现状
- 英伟达:GB200/B300/H100/A100、消费级 RTX5090/4090,深度集成 Dynamo 优化,原生 CUDA 内核
- AMD:Instinct MI300X、MI355X,搭配 MoRI UMBP 做分布式 KV 缓存池
- 英特尔:Xeon CPU、Intel XPU,持续补齐算子内核与分布式能力
- 其他:谷歌 TPU、昇腾 NPU 也有社区适配版本
四、普通开发者上手部署简要步骤
- 原有服务器硬件保持不变,确认 CUDA/ROCm/XPU 驱动版本达标
- 安装 SGLang 依赖环境,通过 pip 一键安装框架包
- 编写启动命令,指定大模型路径、张量并行参数,替换 vLLM、Text Generation Inference 等旧后端
- 压测吞吐、延迟指标,开启前缀缓存、量化等开关调优
- 对接 OpenAI 兼容 API,业务侧几乎不用改代码
五、SGLang 对比传统推理框架优势
- 不用换卡、不用扩容,纯软件改造就能提升吞吐
- 一套接口跑多家芯片,不用针对英伟达、AMD 分别维护两套推理服务
- 对长对话、多轮 Agent 场景增益最明显,KV 缓存复用收益极高
- 开源可二次修改,厂商可以提交自家硬件专属内核优化
【相关 FAQ】
问题 1:英伟达 AMD 英特尔入局 SGLang,是不是只要装上 SGLang,吞吐就一定翻倍?
回答 1:不是绝对固定翻倍,英伟达 AMD 英特尔入局 SGLang 之后,依托 RadixAttention 缓存机制,在多轮对话、大量并发场景下容易实现接近翻倍吞吐;短提示词、单请求低并发场景提升幅度会变小,具体看模型和业务负载。
问题 2:SGLang 是什么,英伟达 AMD 英特尔为什么愿意一起合作 SGLang?
回答 2:SGLang 是 LMSYS 推出的开源大模型推理框架,英伟达 AMD 英特尔一起合作 SGLang,是为了打造一套跨芯片通用推理底座,降低开发者迁移硬件的成本,扩大自家 AI 芯片的落地生态。
问题 3:已经在跑 vLLM 的服务器,切换到 SGLang、借助英伟达 AMD 英特尔适配 SGLang 的优化,麻烦吗?
回答 3:切换成本比较低,SGLang 自带兼容 OpenAI 的 API,业务代码基本不用改动;只需要重装推理环境、调整启动参数,就能用上英伟达 AMD 英特尔为 SGLang 提交的硬件优化内核。
问题 4:消费级显卡比如 RTX5090,能不能跑英伟达 AMD 英特尔联合推进的 SGLang?
回答 4:可以,RTX5090、RTX4090 这类消费卡都在 SGLang 适配列表里,英伟达已经提交消费卡相关内核,AMD、英特尔的消费显卡也在持续完善 SGLang 支持。
【参考资料】
[2026-11-17](Nvidia, AMD Join SGLang Group; Meta Reports 2x GPU Savings)FourWeekMBA
[2026-11-14](NVIDIA, AMD and Intel Join Forces for SGLang)Igor´sLAB
[2026-11-12](LMSYS Org Launches SGLang Consortium with NVIDIA, AMD, Intel...)LMSYS Org
[2026-10-24](More Than DeepInfer: What SGLang Delivers)LMSYS Org
[2026-06-13](SGLang Documentation — SGLang)SGLang 官方文档
【免责声明】
本文信息整理自 LMSYS、芯片厂商公开技术资讯,SGLang 的吞吐提升幅度受模型类型、并发量、上下文长度、驱动版本影响,不保证所有场景稳定翻倍;英伟达、AMD、英特尔针对 SGLang 的硬件优化迭代、新功能支持以厂商和 SGLang 社区后续更新为准,本文不构成生产部署建议。
本文来自作者[雾核载波员]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/3949.html
评论列表(4条)
我是新新网的签约作者“雾核载波员”!
希望本篇文章《英伟达 AMD 英特尔联手入局 SGLang,硬件不变推理吞吐直接翻倍》能对你有所帮助!
本站[新新网]内容主要涵盖:互联网行业的追踪与探索
本文概览:英伟达、AMD、英特尔这三家互相竞争的芯片厂商,这次一起加入 SGLang 联盟,不用更换服务器里的 GPU、CPU 硬件,只靠这套开源推理框架