现在 AI 算力扩张的速度远快于电力、冷却配套的增长速度,芯片行业不再单纯比拼峰值算力,核心目标改成提升每瓦电力对应的有效智能产出,也就是单位功耗下能输出多少 token、完成多少推理任务,能耗大头其实不是计算本身,而是反复搬运权重、KV 缓存带来的数据移动损耗,行业现在是全链路协同优化,从底层晶体管工艺、芯片架构、近存 / 存算一体、3D 封装,再到量化稀疏模型、编译调度、机架供电散热一起改,不是只靠先进制程这一条路,很多方案的核心就是减少无效数据搬运、砍掉冗余计算、降低供电链路损耗,让每一份电力都用在真正产生智能的运算上,而不是浪费在传输和散热上。
五大优化方向对比表
| 优化层级 | 核心思路 | 典型技术 | 能效收益来源 |
|---|---|---|---|
| 工艺与器件 | 降低晶体管开关功耗、漏电 | 先进制程、Nanosheet、CFET、高 K 金属栅 | 单条运算本身的基础能耗下降 |
| 芯片架构 | 减少无效搬运、专用计算单元 | 张量核、数据流架构、存算一体、近存计算 | 把计算贴近存储,压缩数据往返开销 |
| 封装互联 | 缩短信号距离、提升带宽密度 | 2.5D/3D 堆叠、混合键合、HBM、CXL | 降低长线传输功耗,提升带宽 / 瓦比 |
| 软件与模型 | 减少计算量、适配硬件 | 量化、稀疏化、KV 缓存复用、模型剪枝、编译优化 | 直接砍掉不需要的运算,降低总运算量 |
| 机架系统 | 减少供电与散热浪费 | 800V 直流供电、液冷、动态电源门控、内存池共享 | 减少电源转换、散热带来的额外功耗损耗 |
为什么 “每瓦智能” 会成为芯片行业新主线
- 数据中心电力瓶颈明显:AI 集群耗电巨大,电网、机柜供电、冷却系统扩容成本很高,单纯堆芯片、堆算力不可持续,能效变成硬约束。
- 数据搬运功耗远高于计算:AI 大模型推理时,读取权重、读写 KV 缓存消耗的能量,远超乘加运算本身,这是能效最大的短板。
- 端侧功耗天花板卡死:手机、车载、机器人 NPU 的供电有限,想要更强 AI 能力,只能提升每瓦智能,不能直接拉高功耗。
- 单一优化收益越来越小:只靠制程缩小,能效红利放缓,必须跨芯片、模型、系统做协同设计,也就是软硬件共优化。
- 算力经济指标切换:客户算账从 TOPS,转向 Token per Watt、每瓦有效推理量,能效直接决定大模型运行成本。
落地实操的优化步骤
- 先定位能耗瓶颈:通过功耗仿真、芯片上探针、系统侧功耗采集,区分是计算功耗、存储读写功耗、互联传输功耗,还是机架供电损耗。
- 硬件侧选型与架构取舍:云端优先 HBM+3D 堆叠;边缘端优先近存计算、存算一体;对重复矩阵运算,上专用张量加速单元,不用通用逻辑。
- 模型与编译适配:选择 FP8、NF4 等低精度量化,开启稀疏、KV 缓存复用;用编译器做算子融合、数据重排,减少中间缓存读写。
- 封装与供电链路优化:高带宽场景用混合键合缩短互联距离;机架侧改用高压直流,减少多级电源转换损耗。
- 动态功耗管理:按负载做细粒度电源门控、电压频率调节,空闲计算单元直接断电,不要一直保持待机功耗。
- 整机实测闭环验证:在真实大模型负载下测 token 吞吐量、功耗,算出每瓦智能指标,再回头迭代架构、模型、调度策略。
最终结论
芯片行业想要让每瓦电力释放更多智能,是一套全栈工程,先进制程是基础,但更大的收益来自减少数据搬运、存储和计算紧耦合、模型轻量化、机架供电散热优化;存算一体、近存计算、3D 堆叠封装、量化稀疏、CXL 共享内存池,是当前落地最快的路线;未来行业的竞争重心,会从单纯峰值算力比拼,转向固定电力预算下,谁能产出更多有效智能。
【相关 FAQ】
问题 1:芯片行业提升每瓦智能产出,最大的功耗浪费点是计算还是数据搬运?
回答 1:芯片行业提升每瓦智能产出时,AI 场景下最大功耗浪费不是乘加计算,而是权重、KV 缓存反复在内存和计算单元之间的数据搬运,这也是近存、存算一体方案重点解决的问题。
问题 2:芯片行业提升每瓦智能产出,只靠更先进制程就能实现吗?
回答 2:不能,芯片行业提升每瓦智能产出,先进制程只是基础红利,想要明显提升每瓦智能,还需要架构、封装、模型量化、系统供电散热协同优化。
问题 3:衡量芯片每瓦智能产出,为什么不用 TOPS/W,而是 Token per Watt?
回答 3:TOPS/W 是理论算力能效,很多算力是无效运算;Token per Watt 直接对应大模型有效输出,更贴合芯片行业评估每瓦智能产出的真实业务价值。
【参考资料】
[2026-11-09](高能效 AI:芯片行业如何让每瓦电力释放更多智能)电子工程专辑
[2026-09-02](Energy-Efficient AI: More Intelligence Per Watt)Synopsys 官网
[2026-06-25](高通发布面向智能体 AI 时代的数据中心技术路线图)高通官网
[2026-03-05](Scaling Token Factory Revenue and AI Efficiency by Maximizing Performance per Watt)NVIDIA 技术博客
[2025-07-01](绿色算力发展研究报告)中国信息通信研究院
【免责声明】
本文内容基于行业公开研讨、芯片厂商技术文档整理,不同芯片架构、模型、负载下每瓦智能产出差异很大;TOPS/W、Token per Watt 等指标受测试条件、量化方案、缓存策略影响,选型评估必须以真实业务负载实测为准,不代表所有芯片通用能效上限。
