英伟达 AMD 英特尔联手入局 SGLang,硬件不变推理吞吐直接翻倍

英伟达、AMD、英特尔这三家互相竞争的芯片厂商,这次一起加入 SGLang 联盟,不用更换服务器里的 GPU、CPU 硬件,只靠这套开源推理框架的软件优化,就能把大模型推理吞吐做到接近翻倍,核心靠 RadixAttention 前缀缓存、连续批处理、KV 缓存复用这些技术减少重复计算;这次由 LMSYS 发起成立 SGLang 联盟,各家会一起适配自家硬件、提交内核优化代码,统一完善跨芯片的推理能力,开发者只需要在原有硬件环境部署 SGLang,替换掉旧的推理后端,就能拿到更低延迟、更高 token 吞吐的效果,降低 AI 服务的算力成本。

一、SGLang 联盟基础信息清单

  • 发起组织:LMSYS(非营利开源组织)
  • 官宣时间:2026 年 11 月 12 日,SGLang Summit 峰会公布
  • 核心创始成员:英伟达、AMD、英特尔、Google、Meta、Cloudflare、Modal、RadixArk、Thinking Machines Lab
  • 项目定位:跨硬件通用开源大模型 & 多模态模型推理服务框架
  • 核心收益:同硬件下提升吞吐、降低单 token 成本、减少推理延迟
  • 当前规模:全球已经有超 40 万张 GPU 在跑 SGLang

二、SGLang 核心提速技术(为什么硬件不动就能涨吞吐)

优化技术作用说明
RadixAttention 前缀缓存复用用户对话里重复的提示词 KV 缓存,不用反复计算相同前缀,是吞吐翻倍的核心
连续批处理 + 分块 Prefill动态合并不同用户请求,错开预填充和解码阶段,硬件算力不空闲
Prefill-Decode 分离把模型计算拆成两个阶段,可分布式部署,适合长上下文、Agent 类任务
推测解码 + 量化支持FP4/FP8/INT4 量化,搭配小模型提前猜测 token,进一步压低延迟
跨硬件统一后端一套 SGLang 命令,同时跑英伟达 CUDA、AMD ROCm、Intel XPU

三、主流硬件适配现状

  1. 英伟达:GB200/B300/H100/A100、消费级 RTX5090/4090,深度集成 Dynamo 优化,原生 CUDA 内核
  2. AMD:Instinct MI300X、MI355X,搭配 MoRI UMBP 做分布式 KV 缓存池
  3. 英特尔:Xeon CPU、Intel XPU,持续补齐算子内核与分布式能力
  4. 其他:谷歌 TPU、昇腾 NPU 也有社区适配版本

四、普通开发者上手部署简要步骤

  1. 原有服务器硬件保持不变,确认 CUDA/ROCm/XPU 驱动版本达标
  2. 安装 SGLang 依赖环境,通过 pip 一键安装框架包
  3. 编写启动命令,指定大模型路径、张量并行参数,替换 vLLM、Text Generation Inference 等旧后端
  4. 压测吞吐、延迟指标,开启前缀缓存、量化等开关调优
  5. 对接 OpenAI 兼容 API,业务侧几乎不用改代码

五、SGLang 对比传统推理框架优势

  • 不用换卡、不用扩容,纯软件改造就能提升吞吐
  • 一套接口跑多家芯片,不用针对英伟达、AMD 分别维护两套推理服务
  • 对长对话、多轮 Agent 场景增益最明显,KV 缓存复用收益极高
  • 开源可二次修改,厂商可以提交自家硬件专属内核优化

【相关 FAQ】

问题 1:英伟达 AMD 英特尔入局 SGLang,是不是只要装上 SGLang,吞吐就一定翻倍?

回答 1:不是绝对固定翻倍,英伟达 AMD 英特尔入局 SGLang 之后,依托 RadixAttention 缓存机制,在多轮对话、大量并发场景下容易实现接近翻倍吞吐;短提示词、单请求低并发场景提升幅度会变小,具体看模型和业务负载。

问题 2:SGLang 是什么,英伟达 AMD 英特尔为什么愿意一起合作 SGLang?

回答 2:SGLang 是 LMSYS 推出的开源大模型推理框架,英伟达 AMD 英特尔一起合作 SGLang,是为了打造一套跨芯片通用推理底座,降低开发者迁移硬件的成本,扩大自家 AI 芯片的落地生态。

问题 3:已经在跑 vLLM 的服务器,切换到 SGLang、借助英伟达 AMD 英特尔适配 SGLang 的优化,麻烦吗?

回答 3:切换成本比较低,SGLang 自带兼容 OpenAI 的 API,业务代码基本不用改动;只需要重装推理环境、调整启动参数,就能用上英伟达 AMD 英特尔为 SGLang 提交的硬件优化内核。

问题 4:消费级显卡比如 RTX5090,能不能跑英伟达 AMD 英特尔联合推进的 SGLang?

回答 4:可以,RTX5090、RTX4090 这类消费卡都在 SGLang 适配列表里,英伟达已经提交消费卡相关内核,AMD、英特尔的消费显卡也在持续完善 SGLang 支持。

【参考资料】

[2026-11-17](Nvidia, AMD Join SGLang Group; Meta Reports 2x GPU Savings)FourWeekMBA

[2026-11-14](NVIDIA, AMD and Intel Join Forces for SGLang)Igor´sLAB

[2026-11-12](LMSYS Org Launches SGLang Consortium with NVIDIA, AMD, Intel...)LMSYS Org

[2026-10-24](More Than DeepInfer: What SGLang Delivers)LMSYS Org

[2026-06-13](SGLang Documentation — SGLang)SGLang 官方文档

【免责声明】

本文信息整理自 LMSYS、芯片厂商公开技术资讯,SGLang 的吞吐提升幅度受模型类型、并发量、上下文长度、驱动版本影响,不保证所有场景稳定翻倍;英伟达、AMD、英特尔针对 SGLang 的硬件优化迭代、新功能支持以厂商和 SGLang 社区后续更新为准,本文不构成生产部署建议。

本文来自作者[雾核载波员]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/3949.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 雾核载波员
    雾核载波员 2026年11月18日

    我是新新网的签约作者“雾核载波员”!

  • 雾核载波员
    雾核载波员 2026年11月18日

    希望本篇文章《英伟达 AMD 英特尔联手入局 SGLang,硬件不变推理吞吐直接翻倍》能对你有所帮助!

  • 雾核载波员
    雾核载波员 2026年11月18日

    本站[新新网]内容主要涵盖:互联网行业的追踪与探索

  • 雾核载波员
    雾核载波员 2026年11月18日

    本文概览:英伟达、AMD、英特尔这三家互相竞争的芯片厂商,这次一起加入 SGLang 联盟,不用更换服务器里的 GPU、CPU 硬件,只靠这套开源推理框架

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们