AI 算力指标详解

📌 关键要点

两大主指标：推理看 TOPS（整数 INT8），训练看 TFLOPS（浮点 FP16/FP32）

先看精度再看数字：同一颗芯片 INT8 算力 > FP16 > FP32——不带精度的算力数字没有意义

TOPS ≠ TFLOPS：整数和浮点是两种运算，不能直接换算

纸面算力 ≠ 实际性能：理论峰值通常只有 50~80% 利用率，软件栈和内存带宽同样关键

本文用真实案例：寒武纪 MLU370-X8 智能加速卡官方参数逐条拆解

一、先看真实案例：MLU370-X8 官方参数（初看全是黑话）

寒武纪官网「MLU370-X8 智能加速卡」（训推一体，双芯思元 370，7nm）标了一堆参数：

精度	峰值性能
INT8	256 TOPS
INT16	128 TOPS
FP16	96 TFLOPS
BF16	96 TFLOPS
FP32	24 TFLOPS

配套参数：48GB LPDDR5（614.4 GB/s）｜PCIe Gen4 x16 + MLU-Link（200GB/s）｜250W｜支持精度 FP32/FP16/BF16/INT16/INT8/INT4

先给结论：这张表其实就一句话——"这颗芯片用不同精度的算法，能算多快"。每个精度代表一种"干活方式"，数字代表"用这种方式干活的速率"。下面逐个拆。

二、两大主指标：TOPS 和 TFLOPS

指标	全称	衡量什么	用在哪
TOPS	Tera Operations Per Second （每秒万亿次运算）	整数运算	NPU 推理算力
TFLOPS	Tera FLOPs （每秒万亿次浮点运算）	浮点运算	GPU 训练算力

💡 类比：TOPS 是"每秒数多少个数"（整数），TFLOPS 是"每秒算多少次带小数点的数"（浮点）。两者是不同工种，不能互相换算。

三、精度类型逐个解释（看懂参数表的关键）

什么是"精度"：CPU/NPU 算数时，一个数用几位二进制存。位数越多越精确，但越慢越费电；位数越少越快越省电——所以芯片要支持多种精度，让不同任务选不同的"干法"。

精度	全称	一个数用几位	特点	典型用途
FP32	32 位浮点	32 位	最准、最慢、最费电	全精度训练、科学计算
FP16	16 位浮点（半精度）	16 位	精度够用、速度快一倍	AI 训练主流
BF16	Brain Float 16（谷歌发明）	16 位	范围和 FP32 一样宽，但小数精度更低	大模型训练（解决 FP16 范围不够的问题）
INT16	16 位整数	16 位	整数里精度较高	精度要求高的推理
INT8	8 位整数	8 位	又快又省电，精度损失可接受	推理部署主流（YOLO 等）
INT4	4 位整数	4 位	最快最省，精度损失大	大模型量化部署（最新趋势）

为什么 INT4/INT8 能"又快又省"：神经网络算完的结果是"大概对就行"（识别出猫，不需要精确到小数点后 10 位）——所以可以牺牲精度换速度。这就像：

数羊可以一只一只数（FP32），也可以一群一群数（INT8）——结果差不多，但后者快得多。

四、逐条拆解 MLU370-X8 的参数表

4.1 `INT8 → 256 TOPS` = 推理主力

意思：用 8 位整数干活时，每秒 256 万亿次运算
这是 NPU 最重要、宣传最多的数字——推理场景就看它（YOLO 目标检测、语音识别、内容审核等部署）
对应你的笔记：应用处理器比较里 RK3588 的 "6 TOPS (INT8)" 就是这个口径——MLU370-X8 是它的 40 多倍（云端 vs 边缘的差距）

4.2 `INT16 → 128 TOPS` = 精度更高的整数

位数翻倍（16 位 vs 8 位），速度减半（128 vs 256）——符合"精度越高越慢"的规律
用于需要更精确整数的推理任务

4.3 `FP16 / BF16 → 96 TFLOPS` = 训练主力

意思：用浮点干活时，每秒 96 万亿次浮点运算
训练场景看这一行——模型训练要用浮点（梯度更新需要精度）
BF16 和 FP16 数字一样（96）说明这颗芯片对这两种精度速度一致，方便大模型训练选型
注意单位换了：推理用 TOPS（整数），训练用 TFLOPS（浮点）——这行就是这颗卡"能训练"的证据，所以它叫"训推一体"

4.4 `FP32 → 24 TFLOPS` = 全精度底线

32 位全精度最慢（24 最低），但必须支持——兼容科学计算、某些必须全精度的任务
24 是 96 的 1/4：位宽翻倍速度减半（16→32 位，速度 96→24）

4.5 整张表的规律（一眼看懂任何算力表）

INT8 256 > INT16 128 > FP16 96 > FP32 24
（位越少 → 越快）    （整数比浮点快）

💡 看任何 AI 芯片参数表都先找这两行：INT8 的 TOPS（推理能力）+ FP16/BF16 的 TFLOPS（训练能力）。其余行是补充口径。

五、配套参数怎么读（别只看算力）

参数	MLU370-X8 的值	什么意思
内存容量	48GB LPDDR5	能装多大的模型（大模型参数+中间结果要放这里）
内存带宽	614.4 GB/s	每秒能从内存搬多少数据——算力再高，数据喂不进去也白搭
PCIe 接口	Gen4 x16	卡和主机 CPU 通信的通道
卡间互联	MLU-Link 200GB/s	多张卡之间高速通信——多卡并行训练靠它（对应你笔记里"8 卡服务器"）
功耗	250W	最大耗电，决定散热和电费
制程	7nm	工艺越小越先进（7nm > 12nm > 28nm）

类比：算力是"工人干活速度"，内存是"工位大小"，带宽是"传送带速度"，互联是"工人之间喊话的速度"——传送带太慢，工人再快也没用。

六、看算力指标的正确姿势（四条铁律）

先看精度，再看数字：256 TOPS 必须带上 (INT8)——不带精度的算力是耍流氓
推理 vs 训练分开看：推理比 TOPS(INT8)，训练比 TFLOPS(FP16/BF16)，别混着比
纸面算力打折扣：理论峰值实际利用率通常只有 50~80%，软件优化（算子库）和内存带宽决定真实水平
TOPS/W 能效比：边缘/电池设备更看重"每瓦多少算力"（你的应用处理器比较表格里就有这一列）

🧠 一句话记忆：推理看 TOPS（INT8），训练看 TFLOPS（FP16），边缘加看 TOPS/W；先确认精度，纸面打八折。

七、相关笔记

AI算力芯片概念辨析：CPU/GPU/NPU/加速卡是什么（看参数前先看这篇）
AI算力芯片玩家全图：谁在提供 AI 算力（英伟达/华为/寒武纪/AMD/谷歌）
加速卡替代 GPU 边界分析：NPU 卡能否替代 NVIDIA GPU
应用处理器（AP）横向对比：5 款边缘 AI 芯片参数对比表（TOPS 列的出处）
小米玄戒O1：手机端侧 NPU 的 44 TOPS (INT8) 实例

📝 创建：2026-08-19