模型实测

为了优化 TalkTuck Mac 版的转录效果,我测了 4 个开源语音识别模型

薛圣国 · 开发与使用手记

本文保留写作时的产品版本、测试条件和观点;功能、价格、数据处理方式及下载渠道可能发生变化,请以当前版本及产品页说明为准。 原文图表未随正文提供,文内保留可核对的文字数据。

最近在优化我做的录音工具 TalkTuck 的 Mac 版。

录音转文字,真正用起来之后,我发现“能识别出来”和“能让人放心使用”之间,还有不少距离。

用户可能一边开会,一边看实时字幕;也可能录完一小时后,直接搜索之前讨论过的内容。如果字幕等太久,录音时就不好用;如果最终稿漏了关键词,回头查找也会变麻烦。

所以这次,我想先弄清楚一个问题:在我的 Mac 上,几个开源语音识别模型,怎么兼顾识别效果和资源消耗?

我选了四种模型和运行方式,做了中英文短片段识别、速度和内存对比。先说结果:在这次测试里,Qwen 1.7B 的识别效果最好,批量速度也不错;SenseVoice 的速度和内存表现则很亮眼。

但这些结果都有明确的测试范围,尤其是多人重叠和长录音,不能只靠一张排行榜下结论。

先交代一下测试条件

测试设备是 Apple M6、16 GiB 内存的 Mac。四种组合分别是:

测试材料来自公开音频及其参考文本,没有使用用户私人录音。四种方案处理相同的音频;长录音材料被切成约 20 秒的片段识别,这不是整段长窗口转录测试。

这里比较的是“模型+量化方式+运行框架+硬件”的组合。Qwen 1.7B 用 GPU,另外几个使用 CPU,所以不能把速度差异全部归因于模型大小。设备测试时也并非完全独占。

中文:先看 169 段短句

为了避免多人同时说话的干扰,我先看了一组较容易对齐的普通话短句:169 段、来自 22 场录音,参考文本共 2,751 字。

普通话短句识别字错误率对比,Qwen 1.7B 为 7.16%

这张图里的 CER 是“字错误率”,可以粗略理解为识别结果相对参考文本发生漏字、加字或替换的比例,越低越好。

这组短句中,Qwen 1.7B 的 CER 为 7.16%,Fun-ASR-Nano 为 8.36%,Qwen 0.6B 为 9.05%,SenseVoice 为 9.31%。其中 Qwen 0.6B 使用的是自动语种设置。

这组数据给了我一个初步方向,但它是挑选过的非重叠短句,不足以代表会议、噪声和多人对话中的全部情况。

扩大中文样本后,结果还有多大差距?

接着我看了已经完成的扩展数据:来自 17 个不同中文录音源,共 1,422 个约 20 秒片段。四种方案分别识别相同音频,再把结果按时间拼接,与参考文本比较。

这次的近似 CER 分别是:Qwen 1.7B 为 12.20%,Qwen 0.6B 为 14.69%,SenseVoice 为 15.43%,Fun-ASR-Nano 为 16.75%。这里 Qwen 0.6B 指定了中文,和上一组的自动语种设置不同。

这组结果只能做近似比较。 部分材料存在多人同时说话,也有一句话跨越切片边界的情况;参考文字与识别结果按时间拼接后的顺序未必完全一致。当前还有中文数据尚未处理,它也不是全量中文数据结论。

英文:会议录音下的近似对比

英文部分来自 17 个不同录音源,共 932 个约 20 秒的片段,同样使用四种方案处理相同音频。

英文会议片段词错误率近似对比,Qwen 1.7B 为 14.53%

英文通常用 WER,也就是“词错误率”,越低越好。这批材料以会议为主,含多人重叠和跨片边界,因此图里的 WER 同样是拼接后的近似值,不能理解为清晰单人英语的精确错误率。

至少在当前已完成的数据里,Qwen 1.7B 在中英文两组对比中都排在第一。这是我选择当前方案的重要依据,但并不意味着它在所有口音和录音环境下都会最好。

性能:小模型未必在当前配置下更快

除了识别效果,我还让四种方案逐个处理了 34 条中英文录音、约 13 小时音频,记录处理耗时和模型进程的内存足迹。

下面先看速度。为了方便理解,我把实测吞吐量折算成“处理 1 小时音频大约需要多久”。

处理一小时音频所需时间,SenseVoice 约 0.9 分钟,Qwen 1.7B 约 3.9 分钟

再看模型进程内存足迹的采样最大值:

模型进程内存足迹采样值,SenseVoice 约 0.85 GiB,Qwen 1.7B 约 3.6 GiB

SenseVoice 在本次测试中确实很轻:折算速度约为每小时音频 0.9 分钟,进程内存足迹采样最高约 0.85 GiB。

Qwen 1.7B 约需 3.9 分钟、采样最高约 3.6 GiB。Qwen 0.6B 虽然参数更少,本次 CPU 推理却约需 5.5 分钟;它和 GPU 上的 1.7B 使用了不同运行路径,不能只根据参数量判断速度。

这里的时间是短片段批量识别吞吐量,并不等于实时字幕延迟;内存数据是模型进程的采样值,不是整机峰值。三个 ONNX 模型使用了两个 CPU 线程,而 Qwen 1.7B 使用 GPU,本次没有测出可直接比较的整机功耗。

录音时要快,录完后还要准

在 TalkTuck 里,我遇到的另一个问题是:录音时希望字幕尽快出现,录完后又希望最终稿尽量准确。

目前普通话和英语的处理大致分成三个阶段:先输出实时字幕,再对一段完整发言做快速修正,最后根据原音生成定稿。

之前我用一段约 8 分钟的公开中文音频做过一次文件回放,得到下面这组结果:

单段中文音频的三阶段对照:实时字幕 13.35%,快速修正 9.21%,最终稿 6.40%

在这一段音频中,快速修正让录音过程中能看到的文字有所改善。不过,我还用同一段原音测试了“只做最终处理”,得到的最终错误率也是 6.40%,最终文字与三阶段的最终稿一致。

所以从这次实验只能说:快速修正改善了这个样本的过程阅读体验;它没有在这个对照中进一步改变最终稿。并且这只是一个文件回放样本,不是麦克风实录,更不能推断所有长录音都会有相同效果。

为 TalkTuck 选择效果更好的方案

综合当前已完成的测试,我为 TalkTuck Mac 版选择了本次测试中识别效果更好的 Qwen 1.7B MLX,作为质量优先的转录方案。在这台 16 GiB Mac 上,它的中英文识别效果较好,批量速度也能接受。

SenseVoice 值得继续关注:它的资源表现很有吸引力。但如果未来要把它作为“性能优先”选项,还需要验证实时字幕、热词、时间对齐,以及和现有发言人流程的配合。