WSYue-TTS 粤语专用语音合成模型

关键要点

WSYue-TTS 是西北工业大学 ASLP Lab 联合香港科技大学、中国电信 AI Lab 发布的粤语专用 TTS 模型，基于 CosyVoice2 架构，使用 21,800 小时粤语语料（WenetSpeech-Yue）训练，是目前最大的开源粤语 TTS 专用模型。

• 模型：ASLP-lab/Cosyvoice2-Yue（base）+ ASLP-lab/Cosyvoice2-Yue-ZoengJyutGaai（精调）
• 底层架构：CosyVoice2（Apache 2.0）
• 训练数据：WenetSpeech-Yue 21,800 小时粤语（CC BY-NC 4.0，非商用）
• 商用风险：训练数据许可证为非商用，模型权重商用存在法律灰区
• HuggingFace：ASLP-lab/WSYue-TTS
• GitHub：ASLP-lab/WenetSpeech-Yue

模型概览

两个模型版本

精调版名字取自"粤语界"的粤拼（zoeng jyut gaai），表明团队对粤语质量的自信。

与 CosyVoice3 的对比

许可证与商用分析

三层许可证结构

商用风险评估

代码层面：✅ 无风险 - CosyVoice2 代码为 Apache 2.0，WSYue-TTS 推理代码仓库为 MIT，均可商用。

训练数据层面：❌ 非商用 - WenetSpeech-Yue 数据集采用 CC BY-NC 4.0（署名-非商业性使用），明确禁止商用。 - 来源：第三方引用确认（如 xjyutping-py 项目标注 "WenetSpeech-Yue (CC BY-NC 4.0)"）。

模型权重层面：⚠️ 法律灰区 - WSYue-TTS 模型权重用 CC BY-NC 4.0 数据训练而来，HuggingFace 模型卡未明确标注权重许可证。 - 按一般法律理解：用非商用数据训练的模型，其权重可能继承非商用限制，但这在法律上尚无明确判例。 - CosyVoice2 基座本身是 Apache 2.0，但微调后的权重已不再是原始 Apache 2.0 权重。

结论

部署方式（Colab 体验）

WSYue-TTS 的部署与 CosyVoice3 几乎相同（同仓库结构、同 API），已有 conda 环境可直接复用：

# 下载模型（约 2-3 分钟）
from huggingface_hub import snapshot_download
snapshot_download('ASLP-lab/WSYue-TTS', local_dir='pretrained_models/WSYue-TTS')

# 推理代码
import sys
sys.path.append('third_party/Matcha-TTS')
from cosyvoice.cli.cosyvoice import CosyVoice2
from cosyvoice.utils.file_utils import load_wav
import torchaudio, opencc

converter = opencc.OpenCC('s2t.json')
cosyvoice = CosyVoice2('ASLP-lab/Cosyvoice2-Yue',
    load_jit=False, load_trt=False, load_vllm=False, fp16=False)

prompt_speech = load_wav('./asset/sg_017_090.wav', 16000)
text = converter.convert('收到朋友从远方寄嚟嘅生日礼物，嗰份意外嘅惊喜令我心入面充满咗快乐。')

for i, j in enumerate(cosyvoice.inference_instruct2(text, '用粤语说这句话', prompt_speech, stream=False)):
    torchaudio.save(f'yue_{i}.wav', j['tts_speech'], cosyvoice.sample_rate)

注意：WSYue-TTS 仓库自带参考音频 asset/sg_017_090.wav，与 CosyVoice3 仓库的音频不同。

对 BYP-RC-09 课题的启示

粤语 TTS 技术路线选择

建议

• 如果目标是商用产品：使用 Edge-TTS 或 CosyVoice3 原版（Apache 2.0），配合 LLM 做书面语→粤语口语改写
• 如果目标是学术研究/体验：WSYue-TTS 是目前最好的开源粤语 TTS 选择
• 如果目标是完全自主可控：用 WenetSpeech-Yue 数据集自行训练粤语 TTS 模型（但数据集本身也受 CC BY-NC 4.0 限制）

相关资源