BYP's Notes
首页 关于 公开笔记

ASR 前沿进展（2025-2026）

💡 概述

2025-2026 年，语音识别（ASR）领域进入"基础模型重塑"阶段。三大趋势并行推进：

  1. LLM 融合：用大语言模型做 ASR（Qwen3-ASR、FunAudio-ASR）
  2. 新架构：Mamba 状态空间模型替代 Transformer（Samba-ASR）
  3. 鲁棒性：真实噪声环境下的稳健识别（Mega-ASR）

一、重要论文与模型

1.1 Qwen3-ASR（2026 年 1 月）

阿里通义千问团队，当前最值得关注的开源 ASR 模型。

维度 详情
模型规格 Qwen3-ASR-1.7B / Qwen3-ASR-0.6B 两个版本
语种 52 种语言 + 22 种中国方言
能力 语音识别 + 语种识别（all-in-one）
基座 基于 Qwen3-Omni 的强音频理解能力
性能 1.7B 版本在开源 ASR 模型中达到 SOTA；0.6B 版本精度-效率最优平衡
效率 0.6B 版本平均 TTFT 低至 92ms；并发 128 时 1 秒可转写 2000 秒语音
配套 Qwen3-ForcedAligner-0.6B（强制对齐模型，支持 11 种语言的字级时间戳）

核心亮点：

💡 对本项目的意义：Qwen3-ASR-0.6B 仅 6 亿参数，如果效果接近 Paraformer，则 RK3588 上跑它可能比跑完整 Paraformer 更现实。同时 1.7B 版本可作为"数据不出域"场景下公司服务器的首选方案。

1.2 FunAudio-ASR（2025 年 9 月）

阿里 FunAudioLLM 团队，FunASR 框架的旗舰版。

维度 详情
定位 大规模 LLM-based ASR 系统
核心思路 数据缩放（data scaling）+ 模型缩放（model scaling）+ LLM 融合
创新 将 ASR 从"专用小模型"推向"大模型集成"范式

核心亮点：

1.3 Samba-ASR（2025 年 1 月）

首次用 Mamba 架构（状态空间模型 SSM）替代 Transformer 做 ASR。

维度 详情
架构 编码器 + 解码器均采用 Mamba（SSM），完全不用 Transformer
优势 解决了 Transformer 的 O(n²) 复杂度问题；长序列建模更高效
性能 在多个标准基准上超越现有开源 Transformer ASR 模型
意义 代表了"后 Transformer 时代" ASR 架构的新方向

核心亮点：

1.4 Mega-ASR（2026 年 5 月）

解决真实噪声环境下的 ASR 鲁棒性问题。

维度 详情
问题 当前 ASR 在真实噪声环境下严重退化（"声学鲁棒性瓶颈"）
数据集 Voices-in-the-Wild-2M：7 类经典声学现象 + 54 种复合场景
方法 声学到语义的渐进式微调 + 双粒度 WER 门控策略优化
性能 VOiCES R4-B-F：45.69% vs 54.01%（SOTA）；复合场景 WER 相对降低 30%+

核心亮点：

二、综述论文

2.1 ASR in the Modern Era（2025 年 10 月）

全面的 ASR 技术综述，覆盖过去十年的演进。

综述梳理了 ASR 的技术演进路线：

GMM-HMM → DNN-HMM → CTC / Attention / RNN-T → Conformer/Transformer → Whisper 弱监督 → LLM-based ASR

关键结论：

2.2 ASR Leaderboard（2025 年 10 月）

可复现的 ASR 基准评测平台。

三、技术趋势总结

3.1 架构演进

时期 主导架构 代表模型 关键特征
2020-2022 Conformer + CTC/AED Paraformer、WeNet 非自回归端到端
2022-2024 Transformer + 弱监督 Whisper large-v3 海量弱标注数据
2024-2025 多任务统一模型 SenseVoice、FunASR ASR + 情感 + 事件检测
2025-2026 LLM-based ASR Qwen3-ASR、FunAudio-ASR 大语言模型做 ASR
2025+ 后 Transformer Samba-ASR (Mamba) 线性复杂度 SSM

3.2 三大研究方向

方向 1：LLM 融合
  └─ 用大语言模型的音频理解能力做 ASR（Qwen3-Omni → Qwen3-ASR）
  └─ 优势：语种覆盖广、零样本迁移、与 LLM 对话系统无缝衔接

方向 2：新架构
  └─ Mamba/SSM 替代 Transformer（线性复杂度 → 长序列友好）
  └─ 优势：流式推理更高效，端侧部署更友好

方向 3：鲁棒性
  └─ 真实噪声环境下的稳健识别（Mega-ASR）
  └─ 优势：从"实验室指标"走向"真实场景可用"

3.3 开源 vs 闭源格局

类别 代表 趋势
开源 Qwen3-ASR、FunASR、Whisper、SenseVoice 快速追赶，1.7B 版已追平闭源 API
闭源 Google Speech-to-Text、Azure Speech、阿里云 Paraformer 仍在精度和稳定性上保持微弱优势
差距 公开基准差距 < 5%，真实场景差距可能更大 开源在中文场景已非常接近

四、对本项目的启示

4.1 当前方案定位

子系统 当前 ASR 在技术演进中的位置
ping_04 paraformer-realtime-v2（云端） 2022-2024 Conformer 时代，成熟可靠
hqxbot paraformer-v1（云端异步） 上一代离线版，需升级
HXXedge 2.1.0 paraformer-realtime-v2（云端） 同 ping_04

4.2 潜在升级路径

优先级 方向 具体方案 触发条件
P0 加热词 现有 Paraformer-realtime-v2 加 vocabulary_id 零成本，立即可做
P1 升级模型 评估 Qwen3-ASR-1.7B 替换 Paraformer 阿里云上线 Qwen3-ASR 后
P2 本地部署 Qwen3-ASR-0.6B 部署到公司服务器 "数据不出域"合规需求
P3 端侧部署 Qwen3-ASR-0.6B 部署到 RK3588 需实测推理速度
观察 鲁棒性 Mega-ASR 思路用于户外场景 如有近岸监控等语音需求

4.3 关键观察

  1. Qwen3-ASR 是 Paraformer 的"精神继承者"——同属阿里体系，但架构全面升级（基于 Qwen3-Omni 而非 Paraformer 的 Conformer 编码器）
  2. 0.6B 版本对边缘部署意义重大——92ms TTFT + 128 并发下每秒 2000 秒语音的处理能力，意味着在中等算力设备上也可实用
  3. 开源正在追平闭源——Qwen3-ASR-1.7B 已声称与最强闭源 API 持平，这对长期选型影响深远
  4. 鲁棒性是下一个战场——Mega-ASR 揭示的问题（复合噪声下 ASR 严重退化）在户外/工业场景尤为突出

五、参考链接汇总

论文/资源 arXiv 链接 时间
Qwen3-ASR Technical Report arXiv:2601.21337 2026-01
FunAudio-ASR Technical Report arXiv:2509.12508 2025-09
Samba-ASR (Mamba) arXiv:2501.02832 2025-01
Mega-ASR (鲁棒性) arXiv:2605.19833 2026-05
ASR in the Modern Era (综述) arXiv:2510.12827 2025-10
ASR Leaderboard arXiv:2510.06961 2025-10
WhisperKit (端侧实时 ASR) arXiv:2507.10860 2025-07
CosyVoice 3 (TTS) arXiv:2505.17589 2025-05
SenseVoice (多语种 ASR) ModelScope - SenseVoiceSmall 2024
Qwen3-ASR GitHub github.com/QwenLM/Qwen3-ASR 2026-01

相关笔记