FunASR 开源语音识别框架

💡 核心定位

FunASR 是阿里达摩院开源的语音识别工具框架，不是单个模型，而是一个包含多个 ASR 模型和配套组件的完整工具箱。

• 🧰 框架：包含 Paraformer、SenseVoice、VAD、标点恢复等多个组件
• 🏠 本地部署：pip install 后即可在自己的服务器上运行，无需调用云端 API
• 💰 零 token 消耗：不产生 API 调用费用，只消耗自有服务器算力
• 🔓 开源协议：MIT License（大部分模型），可商用

一、FunASR 与 Paraformer 的关系

1.1 概念辨析

FunASR（框架/工具箱）
  ├── Paraformer-zh          → 中文离线语音识别（大文件转写）
  ├── Paraformer-zh-streaming → 中文实时流式识别（对应云端 paraformer-realtime-v2）
  ├── SenseVoice-Small        → 多语种识别 + 情感/事件检测
  ├── FSMN-VAD                → 语音端点检测（判断何时开始/停止说话）
  ├── CT-Transformer          → 标点恢复（给识别结果加标点）
  ├── CT-Punc                 → 标点预测（轻量版）
  └── ... 其他组件

关键区分：

简单说：Paraformer 是 FunASR 框架里的核心 ASR 模型，阿里云百炼的 paraformer-realtime-v2 就是 Paraformer 的云端商业托管版。

1.2 开源版 vs 云端版

二、安装与部署

2.1 环境要求

2.2 安装

# 安装 FunASR（含 PyTorch）
pip install funasr

# 如果已有 PyTorch，只装 FunASR
pip install funasr --no-deps

# 安装模型scope（用于下载模型）
pip install modelscope

2.3 离线识别（大文件转写）

from funasr import AutoModel

# 加载 Paraformer 中文离线模型（自动下载）
model = AutoModel(
    model="paraformer-zh",
    vad_model="fsmn-vad",         # 语音端点检测
    punc_model="ct-punc",         # 标点恢复
    # device="cuda:0",             # 指定 GPU（默认自动选择）
)

# 识别音频文件
result = model.generate(input="audio.wav")
print(result[0]["text"])
# 输出：带标点的完整文本

2.4 实时流式识别（对应云端 paraformer-realtime-v2）

from funasr import AutoModel

# 加载流式模型
model = AutoModel(
    model="paraformer-zh-streaming",
    vad_model="fsmn-vad",
    punc_model="ct-punc",
)

# 流式识别（逐 chunk 送入）
import soundfile
speech, sample_rate = soundfile.read("audio.wav")

# 模拟流式输入（每次送 10 秒）
chunk_size = [0, 10, 5]  # [左看秒数, 右看秒数, 步长]
encoder_chunk_look_back = 4
decoder_chunk_look_back = 1

result = model.generate(
    input=audio_data,
    chunk_size=chunk_size,
    encoder_chunk_look_back=encoder_chunk_look_back,
    decoder_chunk_look_back=decoder_chunk_look_back,
)
print(result[0]["text"])

2.5 SenseVoice（多语种 + 情感检测）

from funasr import AutoModel

model = AutoModel(
    model="iic/SenseVoiceSmall",
    vad_model="fsmn-vad",
    punc_model="ct-punc",
    # spk_model="cam++",  # 可选：说话人分离
)

result = model.generate(input="audio.wav")
# 输出包含：文本 + 情感标签（happy/sad/angry/neutral）+ 事件标记

三、热词功能

3.1 开源版热词用法

FunASR 开源版同样支持热词，通过 hotword 参数传入：

from funasr import AutoModel

model = AutoModel(
    model="paraformer-zh",
    vad_model="fsmn-vad",
    punc_model="ct-punc",
    hotword="海启星:5 龘思:4 外业通:4 天文潮:3",  # 格式：词:权重，空格分隔
)

result = model.generate(input="audio.wav")

3.2 热词格式

# 格式：词语:权重，多个词用空格分隔
hotword="海启星:5 龘思:4 外业通:4 智数通:4 培训通:3"

权重含义与云端版一致（1~5，越大越优先）。

3.3 开源版 vs 云端版热词对比

四、与本项目当前方案的对比

4.1 当前使用情况

4.2 何时考虑本地部署 FunASR

4.3 成本对比估算

假设每天 100 次语音对话，每次 30 秒：

结论：调用量小时云端划算，调用量大时本地划算。平衡点约在每月 500~1000 元 API 费时。

五、FunASR 服务端部署（WebSocket 服务）

FunASR 提供了开箱即用的 WebSocket 服务端，可直接替换阿里云的流式 ASR 端点：

# 启动 FunASR WebSocket 服务
python -m funasr.bin.ws_serve_main \
    --model paraformer-zh-streaming \
    --vad-model fsmn-vad \
    --punc-model ct-punc \
    --host 0.0.0.0 \
    --port 10095 \
    --ngpu 1

前端 WebSocket 协议与阿里云 DashScope 类似，迁移时主要改连接地址和鉴权方式。

六、开发注意事项

6.1 首次运行会自动下载模型

FunASR 首次加载模型时会自动从 ModelScope 下载到 ~/.cache/modelscope/，约 1~3 GB。如果服务器无法访问外网，需提前离线下载并指定本地路径。

6.2 GPU 推理 vs CPU 推理

6.3 与 Whisper 的对比

结论：中文场景 FunASR 全面优于 Whisper；多语种/小语种场景 Whisper 覆盖更广。

七、参考资源

• GitHub：https://github.com/modelscope/FunASR
• ModelScope 模型页：https://modelscope.cn/models/iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch
• FunASR 文档：https://funasr.readthedocs.io/
• Paraformer 论文：https://arxiv.org/abs/2206.08317
• SenseVoice 模型：https://www.modelscope.cn/models/iic/SenseVoiceSmall