TTS 前沿进展（2024-2026）

💡 概述

2024-2026 年，语音合成（TTS）领域经历了从"专用模型"到"LLM-based 大模型"的范式转变。三大趋势并行推进：

1. LLM 融合：用大语言模型架构做 TTS（Qwen3-TTS、Spark-TTS、CosyVoice 3）
2. 零样本声音克隆：3 秒参考音频即可复制任何人的声音（F5-TTS、X-Voice）
3. 流式低延迟：首包延迟降至 100ms 以下，实现实时对话级合成

一、重要论文与模型

1.1 Qwen3-TTS（2026 年 1 月）

阿里通义千问团队，当前开源 TTS 的最强模型。

• 论文：Qwen3-TTS Technical Report
• 开源：GitHub - QwenLM/Qwen3-TTS
• 许可：Apache 2.0（可商用）
• 被引：194 次

核心亮点：

• 首包 97ms 达到人类实时对话响应水平
• 双轨 LM 架构同时保证内容准确性和说话人相似度
• 支持细粒度控制：语速、音调、情感均可精确调节
• Apache 2.0 开源，可商用

💡 对本项目的意义：Qwen3-TTS 已在阿里云百炼上线（qwen3-tts 模型），可直接通过 DashScope API 调用，替换当前 ping_04 的火山 Seed-TTS。

1.2 CosyVoice 3（2025 年 5 月）

阿里通义实验室，CosyVoice 系列第三代。

• 论文：CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training
• 被引：212 次
• 开源：ModelScope - Fun-CosyVoice3

核心亮点：

• 训练数据从 1 万小时扩展到 100 万小时（100 倍）
• 引入可微奖励模型做后训练，提升韵律自然度
• 方言覆盖最广（18 种中国方言）

💡 本项目已实测：在 Colab T4 上部署 CosyVoice3-0.5B 做粤语合成，效果"能听到但发音不太地道"（RTF≈2.37）。

1.3 Seed-TTS（2024 年 6 月）

字节跳动，当前商用 TTS 的标杆。

• 论文：Seed-TTS: A Family of High-Quality Versatile Speech Generation Models
• 被引：438 次（TTS 领域引用最高）
• 开源：部分开源（推理代码 + 评测基准）

核心亮点：

• 首次将 LLM 的 In-Context Learning 引入 TTS
• Seed-TTS Eval 成为业界标准评测集
• 本项目 ping_04 的火山引擎 TTS 就是基于 Seed-TTS 2.0

1.4 F5-TTS（2024 年 10 月）

上海交大 + 剑桥，完全开源的零样本 TTS。

• 论文：F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching
• 开源：GitHub - swivid/f5-tts
• 许可：MIT

核心亮点：

• 架构极简——去掉了传统 TTS 的时长模型和音素对齐模块
• 推理速度极快（RTF 0.15），适合实时场景
• MIT 许可，商用友好
• 后续 X-Voice 就是基于 F5-TTS 架构扩展的

1.5 Spark-TTS（2025 年 3 月）

基于 BiCodec 单流语音编码 + Qwen2.5 LLM 的可控 TTS。

• 论文：Spark-TTS: An Efficient LLM-Based Text-to-Speech Model with Single-Stream Decoupled Speech Tokens
• 开源：ModelScope - Spark-TTS-0.5B

核心亮点：

• 首次实现"用文字描述控制声音特征"（如"中年男性，低沉嗓音，慢速"）
• 0.5B 参数，轻量可部署
• Chain-of-Thought 生成思路用于 TTS（先推理再合成）

1.6 X-Voice（2026 年 5 月）

基于 F5-TTS 的多语种零样本声音克隆。

• 论文：X-Voice: Enabling Everyone to Speak 30 Languages via Zero-Shot Cross-Lingual Voice Cloning
• 开源：✅ 全部资源开源

核心亮点：

• 用你的声音说 30 种语言——跨语种零样本克隆
• 0.4B 参数，效果媲美十亿级模型（如 Qwen3-TTS）
• 两阶段训练范式：Stage 2 不需要参考音频的文本转写

二、技术趋势总结

2.1 架构演进

2.2 三大研究方向

方向 1：LLM-based TTS
  └─ 用大语言模型架构做语音合成（Qwen3-TTS、Spark-TTS、Seed-TTS）
  └─ 优势：内容一致性强、可控性好、与 LLM 对话系统天然衔接

方向 2：零样本声音克隆
  └─ 3 秒参考音频复制任何人的声音（F5-TTS、X-Voice）
  └─ 优势：无需为目标说话人录制训练数据

方向 3：流式低延迟
  └─ 首包 < 100ms，实时对话级合成（Qwen3-TTS 97ms）
  └─ 优势：可用于实时语音对话系统

2.3 开源 vs 闭源格局

三、对本项目的启示

3.1 当前方案定位

3.2 潜在升级路径

3.3 关键观察

1. Qwen3-TTS 是 TTS 领域的"Qwen3-ASR"——同属阿里 Qwen 体系，Apache 2.0 开源，已上线百炼 API
2. 97ms 首包延迟意味着 TTS 不再是延迟瓶颈——比人类对话中的自然停顿还短
3. 开源 TTS 已全面追平闭源——Qwen3-TTS 在多个基准上超过商用 API
4. 声音克隆的伦理问题日益突出——3 秒即可克隆任何人的声音，需关注安全合规

四、参考链接汇总