• 人工智能
• 语音
• 深度学习
• 基础模型
• 本地部署

owsm_ctc_v3.2_ft_1B（OWSM-CTC v3.2）是一个 10 亿参数的 encoder-only 语音基础模型，一个模型同时支持多语种语音识别（ASR）、any-to-any 语音翻译（ST）和语种识别（LID）。只需修改lang_sym（源语言）和task_sym（任务类型）两个参数，就能在三大任务间一键切换。这篇指南带你快速上手。

🎯 模型能做什么？

该模型基于 OWSM-CTC（ACL 2024）的层级多任务自条件 CTC 架构，用 18 万小时公开音频训练，在 v3.1 基础上微调 225k steps 得到。核心亮点：

🧩 一键切换的核心：lang_sym 与 task_sym

模型词表中内置了 100 多个语言符号（<eng>、<zho>、<jpn>……）和任务符号（<asr>、<st_zho>、<st_eng>……），完整清单可见 config.yaml 的 token_list 部分。切换任务只需组合两个参数：

原理一句话：ASR 和翻译时，语言信息通过lang_sym注入；LID 则把语言"藏"起来（<nolang>），逼模型自己从音频判断——训练时一半样本（lang_apply_prob: 0.5）就是这么练出来的。

🚀 ASR 一键上手：三行代码贪心解码

模型以 16 kHz、固定 30 秒训练，短音频记得补零/截断。CTC 模型用best_path（贪心解码）只需一次编码器前向，速度最快：

import librosa from espnet2.bin.s2t_inference import Speech2Text s2t = Speech2Text.from_pretrained( "espnet/owsm_ctc_v3.2_ft_1B", device="cuda", lang_sym='<eng>', # 源语言 task_sym='<asr>', # 任务：语音识别 ) speech, _ = librosa.load("xxx.wav", sr=16000) speech = librosa.util.fix_length(speech, size=(16000 * 30)) # 补齐 30 秒 print(s2t.best_path(speech)[0])

📖 长音频转写：decode_long 批量缓冲解码

超过 30 秒的音频无需手动切分，decode_long会自动拆分为带重叠的缓冲段（短于 30 秒会补齐），支持批处理并行解码：

segments = s2t.decode_long("long_audio.wav", batch_size=16, # 显存大可调大 context_len_in_secs=4) # 缓冲上下文的秒数 text = " ".join(seg for _, _, seg in segments)

显存不足时调小batch_size即可；安装了 Flash Attention 且使用半精度时，可设use_flash_attn=True提速。

🌍 翻译与语种识别：只改一个参数

把英文语音翻译成中文，只需把task_sym换成<st_zho>：

s2t = Speech2Text.from_pretrained("espnet/owsm_ctc_v3.2_ft_1B", device="cuda", lang_sym='<eng>', task_sym='<st_zho>') # 目标语言：中文

词表中共有<st_ara>、<st_jpn>、<st_rus>等 18 个st_xxx目标语言符号，配合任意源语言实现 any-to-any 翻译。做语种识别时则换成：

s2t = Speech2Text.from_pretrained("espnet/owsm_ctc_v3.2_ft_1B", device="cuda", lang_sym='<nolang>', # 不指定语言 task_sym='<asr>') # 输出文本的第一个 token 就是识别出的语种

🔍 幕后揭秘：多任务是如何训练出来的

查看 config.yaml 的 model_conf 可知：编码器为 27 层e_branchformer_ctc，在第6 / 12 / 15 / 21层插入 inter-CTC 监督（interctc_weight: 0.8），形成"层级多任务自条件 CTC"——浅层先学转写/翻译/判语种，深层再逐级精修，这正是单个模型能兼顾三大任务的关键。任务前缀由 4 层 Transformerpromptencoder编码后注入编码器。

❓ 常见问题速查

• 音频必须 16 kHz 吗？是。模型按 16 kHz 训练，采样率不符请先重采样，并用fix_length补齐到 30 秒。
• best_path和s2t(speech)什么区别？前者是 CTC 贪心解码（快）；后者是前缀 beam search（慢，支持beam_size、lm_weight），追求极限速度选前者。
• 想要词级时间戳？CTC 模型本身无时间戳，可用espnet2.bin.s2t_ctc_align的CTCSegmentation做强制对齐（任意长度音频均可）。
• 序列过长怎么办？用decode_long自动缓冲切分；context_len_in_secs控制重叠上下文。

完整用法示例见 README.md，模型元信息（Python/PyTorch 版本等）见 meta.yaml。改两个参数，一个模型，三种能力——这就是 owsm_ctc_v3.2_ft_1B 的多任务魅力。🎉

• 人工智能
• 语音
• 深度学习
• 基础模型
• 本地部署