TFLOPS 本身不会直接失效，但只靠峰值 TFLOPS 评判 AI 芯片的时代正在结束，大模型尤其是推理场景普遍是内存带宽瓶颈，很多芯片纸面算力很高，跑真实大模型时算力利用率很低，输出 token 速度、延迟、能耗、成本才是业务侧真正关心的指标，现在行业评价正在从 “理论峰值算力” 转向 “真实可交付的智能产出效率”，训练场景还会参考 TFLOPS，而推理、Agent 在线服务场景，token 相关指标权重更高。过去大家习惯拿 TFLOPS 对比芯片，是因为早期 AI 训练是计算密集型任务；但现在大模型解码阶段，瓶颈不在计算单元，而在 HBM 显存带宽、KV 缓存容量、片间互联，哪怕 TFLOPS 很高，显存不够、带宽跟不上，大部分计算单元都会空转，MFU 算力利用率甚至跌到个位数。想要看懂 AI 芯片性能，要分开训练、推理两类场景，分层看硬件基础指标、真实产出指标、经济 TCO 指标，不能单看一个数字。
新旧评价指标对比表
| 指标 | 含义 | 适用场景 | 价值定位 |
|---|---|---|---|
| TFLOPS/TOPS | 每秒浮点 / 整数运算峰值 | 训练、矩阵计算、算力宣传 | 底层硬件上限，参考值，不是真实产出 |
| MFU（模型算力利用率） | 实际用到的算力 ÷ 峰值算力 | 训练 + 推理 | 判断芯片、软件栈能不能把算力跑起来 |
| tokens/s | 每秒输出 token 数量 | 大模型推理、在线服务 | 最直观的业务吞吐指标 |
| TTFT（首 token 延迟） | 用户发请求到第一个 token 返回耗时 | 对话式在线推理 | 决定用户体验，交互场景核心指标 |
| TPOT | 相邻两个 token 之间的间隔 | 流式输出 | 影响打字流畅度 |
| tokens/J | 每焦耳电能产出 token 数 | 推理、大规模集群 | 能耗效率，决定电费成本 |
| tokens/$ | 每投入一美元产出 token | 算力集群采购、运营 | 商业化 TCO 核心标尺 |
| HBM 带宽 & 容量 | 显存带宽、最大容量 | 大模型全场景 | 现在很多场景的第一瓶颈 |
| 片间互联带宽 | NVLink 等互联速率 | 多卡集群训练 | 决定多卡扩展效率 |
核心指标详细清单
一、硬件底层指标（基础盘，不能丢）
- 不同精度算力：FP16、BF16、FP8、INT4 的 TFLOPS/TOPS，大模型已经普遍用低精度，只看 FP32 没有意义
- HBM 显存容量、带宽：决定能放下多大模型、能承载多少 KV 缓存，是解码阶段的瓶颈
- 片间互联带宽：多卡训练时，卡与卡之间数据交换速度，直接决定多卡缩放效率
- 功耗上限、散热规格：数据中心有供电、散热天花板，算力再高超功耗也降频
二、真实业务指标（现在最核心）
- tokens/s：单卡 / 集群稳定吞吐，要在固定模型、上下文长度、并发量下测试，脱离测试条件的吞吐没有对比意义
- TTFT：对话用户最敏感指标，高并发下 P95 延迟远比平均值重要
- TPOT：流式输出的顺滑度，Agent、长对话场景很看重
- MFU：训练场景合格一般 35%~50%，推理解码场景很多芯片 MFU 低于 10%，纸面算力再高也没用
三、经济与全栈指标（云厂商、算力运营商重点看）
- tokens/J：电费是算力集群长期成本大头，能效比直接决定运营成本
- tokens/$：包含硬件采购、机房、电费、运维，是商业化最终标尺
- 软件栈生态、编译难度：同样硬件，vLLM、TensorRT-LLM 优化前后差距巨大，芯片好不好，软件生态占一半
- 稳定性、可扩展性、故障恢复能力：大规模集群场景，稳定性优先级高于纸面峰值
不同场景怎么选评价重点
- 预训练大模型：优先看 FP8/BF16 TFLOPS、MFU、HBM 带宽、NVLink 互联、tokens/J
- 在线对话推理：优先看 TTFT、TPOT、tokens/s、HBM 容量、KV 缓存支持
- Agent、RAG 长上下文：优先看显存容量、带宽、token 吞吐、并发承载能力
- 边缘端 NPU：优先看 tokens/J、固定功耗下的吞吐、延迟
常见踩坑提醒
- 厂商宣传的峰值 TFLOPS，是理论最大值，需要特定数据形状、理想条件才能跑满，真实负载很难达到
- 对比 token 指标必须锁定相同模型、量化精度、上下文长度、并发数，换一个模型排名可能完全反转
- 只看 tokens/s 忽略 TTFT，会出现吞吐很高但用户等待很久的情况，不适合 C 端对话
整体来看，TFLOPS 依然是硬件的基础参数，是算力的上限，但不再是唯一胜负标准；AI 芯片的评价体系已经变成一套组合指标，围绕真实 token 产出、延迟、能耗、总成本展开，也就是从 “能算多少” 转向 “能稳定产出多少有效 AI 内容，花多少钱、耗多少电”。
【相关 FAQ】
问题 1：TFLOPS 时代正在结束吗，TFLOPS 还有参考价值吗？
回答 1：TFLOPS 时代没有结束，只是唯 TFLOPS 的时代落幕，TFLOPS 依然是硬件算力上限指标，训练场景仍有参考意义；但推理场景瓶颈在显存带宽，只看 TFLOPS 会严重误判芯片真实性能。
问题 2：TFLOPS 时代正在结束吗，AI 芯片现在最核心的评价指标是什么？
回答 2：TFLOPS 时代正在结束吗，当前 AI 芯片核心评价指标是 tokens/s、TTFT、TPOT、MFU、tokens/J、tokens/$，搭配 HBM 带宽容量、片间互联，组成完整评价体系，不再只看峰值算力。
问题 3：TFLOPS 时代正在结束吗，为什么很多芯片 TFLOPS 很高，但跑大模型很慢？
回答 3：TFLOPS 时代正在结束吗，大模型解码阶段是内存带宽瓶颈，HBM 带宽、KV 缓存不够，算力单元会等待数据，MFU 算力利用率很低，纸面 TFLOPS 无法转化成真实 token 输出。
问题 4：TFLOPS 时代正在结束吗，MFU 算力利用率一般多少算优秀？
回答 4：TFLOPS 时代正在结束吗，大模型预训练场景 MFU 做到 35%~50% 属于优秀；推理解码场景受内存限制，大部分芯片 MFU 很低，只有少数优化完善的平台可以做到较高水平。
【参考资料】
[2026-11-10]（TFLOPS 时代正在结束吗？AI 芯片真正应该用什么指标评价？）与非网
[2026-08-01]（The Current State of AI Chips in 2026）OpenRating
[2026-10-13]（HBM 仅增 3%，每美元吞吐提升 30 倍，AI 算力竞争转向有效 token）通信世界
[2026-05-20]（Silicon Showdown：Consumer-Grade LLM Inference）arXiv
[2026-04-10]（xPU-athalon：Quantifying the Competition of AI Acceleration）arXiv
【免责声明】
本文内容基于行业公开文章、芯片厂商技术博客、学术论文整理，TFLOPS、token 吞吐、TTFT 等指标结果高度依赖模型、量化方案、软件栈、并发条件，不同测试环境下结论差异很大，本文仅作为 AI 芯片评测思路参考，不构成芯片采购、选型的最终依据。