BYP's Notes
首页 关于 公开笔记

主流大模型速度基准测试

📌 测试概要

使用统一 Prompt + 流式输出，对 6 个主流大模型进行速度基准测试，关注两个核心指标：TTFT（首 token 延迟）和 token/s（生成速度）。

一、测试指标说明

指标 英文全称 定义 衡量什么
TTFT Time To First Token 从发起请求到收到第一个 token 的时间差 用户"感知快慢"——点发送后等多久才出第一个字
token/s Tokens Per Second 生成阶段每秒产生的 token 数 用户"看着它打完"——回复内容是一行行蹦还是瞬间刷出
总耗时 Total Elapsed 请求发出 → 全部生成完的总时间 端到端完成一次对话的耗时
生成耗时 Generation Time 首 token → 末 token 的时间差 纯文本生成阶段的耗时 
请求发出 ────[TTFT]───→ 首 token ────[生成耗时: token/s]───→ 完成
│←────────────────── 总耗时 ──────────────────────────→│

二、测试方法

三、测试结果

3.1 数据总览

模型 TTFT Tokens 生成耗时 总耗时 token/s
GLM 5.2 15.00s 1885 1.37s 16.37s 1373.9
Qwen 3.7 Plus 22.72s 1561 4.44s 27.16s 351.3
DeepSeek V4 Pro 43.48s 1668 6.35s 49.83s 262.7
Kimi K3 51.99s 1816 9.04s 61.03s 201.0
DeepSeek V4 Flash 2.35s 303 1.98s 4.33s 152.9
Qwen 3.8 Max 3.77s 328 4.04s 7.81s 81.2

3.2 速度排名（token/s）

排名 模型 token/s
🥇 GLM 5.2 1373.9
🥈 Qwen 3.7 Plus 351.3
🥉 DeepSeek V4 Pro 262.7
4 Kimi K3 201.0
5 DeepSeek V4 Flash 152.9
6 Qwen 3.8 Max 81.2

3.3 首 token 排名（TTFT）

排名 模型 TTFT
🥇 DeepSeek V4 Flash 2.35s
🥈 Qwen 3.8 Max 3.77s
🥉 GLM 5.2 15.00s
4 Qwen 3.7 Plus 22.72s
5 DeepSeek V4 Pro 43.48s
6 Kimi K3 51.99s

四、分析

4.1 Flash vs Pro：两个世界的体验

"Flash"类模型和"Pro"类模型呈现出完全不同的响应模式：

维度 Flash 模型（v4-flash / 3.8-max） Pro 模型（v4-pro / k3 / 3.7-plus）
TTFT 2-4s，近乎即时 22-52s，有明显等待
输出量 ~300 tokens，简洁 ~1500-1900 tokens，详尽
体验感 秒出、短平快 先等半分钟、然后大量内容涌出

💡 Flash 模型更适合对话交互（用户不想等），Pro 模型更适合需要深度思考的长文生成（等得起）。

4.2 GLM 5.2 的 token/s 异常

GLM 5.2 的生成速度为 1373.9 token/s，远超其他模型一个数量级。可能原因：

  1. token 定义差异：GLM 的 tokenizer 可能粒度更粗，1 token 包含更多字符
  2. API 返回格式：流式输出中单 chunk 可能包含多个 token
  3. 实际速度快：确实有架构或推理优化优势

⚠️ 不同厂商的 token/s 不能直接横向对比（token 定义不同），仅作同厂商内模型对比的参考。

4.3 选型建议

场景 推荐模型 原因
聊天对话、快速问答 DeepSeek V4 Flash TTFT 2.35s，体验流畅
内容生成、长文写作 Qwen 3.7 Plus / GLM 5.2 高 token/s + 输出详实
深度推理分析 DeepSeek V4 Pro / Kimi K3 推理链更完整（尽管 TTFT 较长）
成本敏感场景 Qwen 3.8 Max Flash 级响应速度，通义生态

📖 相关笔记： - 大语言模型选择指南 - Agent 开发核心技术栈 - 公司服务器 Ollama 部署情况

相关笔记