开发手记

Mac 全天候录音方案,我也撸出来了

薛圣国 · 开发与使用手记

本文保留写作时的产品版本、测试条件和观点;功能、价格、数据处理方式及下载渠道可能发生变化,请以当前版本及产品页说明为准。 用户提供的正文未包含原配图。

一边录,一边出字幕,录音还没结束,前面的文字就已经开始定稿。我给自己的录音工具做了一套 Mac 长时间录音方案。

上一篇,我写了怎么让 Apple Watch 把录音分段保存,再陆续传给 iPhone 转文字。

做完手表这一端,我又开始琢磨 Mac:人坐在电脑前的时候,讨论、线上通话、临时冒出来的想法,声音可能来自麦克风,也可能来自电脑本身。如果想把这些内容留下来,录音工具能不能安静地待在旁边,录完之后还能方便地找回、整理和回听?

我给自己做的录音工具 TalkTuck 加了一套 Mac 长时间录音方案。

TalkTuck Mac 正在录音的主界面,显示声波、音源开关和分批定稿进度。
真实录音界面截图。下方内容是实时转录,仍可能有识别错误。(原图未随正文提供)

第一版的思路很简单:录下来,显示实时文字,结束后再把整段音频转一遍。短录音用起来还好,时间一长,问题就出来了。

原音越来越长,内存会不会一直涨?录音过程中看到的文字还不够准确,能不能先修一遍?如果录了几个小时,难道要等按下停止,才从头开始生成定稿?定稿以后,又怎么避免整篇文字挤成一大段,或者一句话被错误地拆给好几个发言人?

后来,我把这件事分成四部分:先把原音可靠地留下来,让录音尽量不打扰工作,分阶段整理文字,最后再把结果交给人或者 Agent 使用。

先把声音留下来,再谈转录

Mac 的声音来源比手表多。我希望它既能录麦克风,也能录电脑的系统声音;线上讨论的时候,还可以两路一起录。

两路声音在采集时分别保存,并按同一条时间线记录。这样做,多保留了一份能回到原始声音的依据:如果某一路设备中途断开,排查时能区分哪一路出了问题;之后需要混合播放或转录,再按时间对齐处理。

录音没有一直攒在内存里。我沿用了分段保存的思路:音频经过统一处理后,按约 10 秒封存为 AAC 片段。片段带有录音身份、顺序、起始位置、有效帧数和校验信息;结束时再生成清单,说明这条录音由哪些片段组成。

原音分段保存示意图:麦克风和系统声音分别保存,约每 10 秒封存一段 AAC 并记录校验信息。
技术流程示意图。(原图未随正文提供)

这份清单让我能把“已经写好的音频”和“还没完成的部分”分开看。程序中断以后,可以先检查已保存的片段,再尝试恢复;遇到不完整或有疑问的数据,也要把原文件留住。

我的优先级还是上一篇里的那句话:先留下声音,再让文字慢慢跟上。

当然,分段保存不等于任何情况下都不会丢音频。设备权限、输入设备断开、存储空间和系统状态都可能影响采集;程序只能尽量发现问题、保留已经写下来的内容,并给后续恢复留依据。

录音继续进行,窗口可以缩小

Mac 版和手表版有个很不一样的地方:我录音的时候,通常也在用电脑做别的事。

如果为了看录音状态,必须一直开着主窗口,录音工具很容易挡住正在看的资料。于是我做了一个 mini 悬浮录音条,把正在录音、暂停、继续、结束和实时字幕放进小窗口里。

需要看完整文字时,再展开主界面;去浏览以前的记录,也不用先把正在进行的录音停掉。音源也可以在录制中切换:麦克风、系统声音,或者两路一起使用。

TalkTuck mini 悬浮录音条正在显示实时字幕,同时保留音源和录音控制。
真实录音时截取的 mini 录音条;字幕仍在识别中,文字可能修订。(原图未随正文提供)

这里有个边界:系统声音指的是电脑采集到的系统音频,并不是只锁定某一个会议软件;实际能录到什么,还取决于系统权限、设备和使用的软件。它也不会在 Mac 睡眠或关机后继续工作。

悬浮窗还有一件容易忽略的事:窗口缩小了,不代表后台的工作量就自动变小了。

我把 mini 和隐藏状态下的界面刷新做了节流:实时短字幕仍然显示,但不需要每次都重绘整篇长文字;波形最多每秒更新两次,窗口隐藏时就不再刷新波形。

这主要减少的是界面开销。识别模型仍然需要工作,所以我不会把“做了悬浮窗”直接说成“已经验证很省电”。

文字分三步走:先看见,再修正,最后定稿

实时字幕和最终定稿,对时间的要求并不一样。

录音时,我希望刚说完就能看到文字,晚几分钟才出现就失去了实时预览的意义;但为了让文字更准确,又需要给识别过程更多上下文。

最后我把 Mac 的转录拆成了三个阶段。

第一步,即时字幕。

录音开始后,实时识别先把听到的话显示出来。普通话和英语使用轻量实时识别;粤语也保留实时字幕能力。这一层的目标是快,允许文字稍后变化。

第二步,快速修正。

普通话和英语的实时识别会先积攒完整发言,目标约 30 秒后交给更强的识别过程修正。这里不是拿计时器每到 30 秒就把一句话切断:我尽量按完整发言提交,一批最长 54 秒。

如果修正来不及处理,就先保留原来的实时文字,不让待处理音频无限堆积。用户看到的文字可以先用,后面的结果有把握时再更新。

第三步,分批定稿。

以前我是在停止录音后,重新处理整段音频。现在录音还在继续时,前面满足条件的一批就可以开始定稿。

在已校准的 16GB 及以上设备策略里,普通话按最长 480 秒、英语按最长 360 秒处理。到达批次上限时,我会优先找最近一段静音作为边界;实在没有合适的停顿,才在边界保留 3 秒上下文,帮助衔接前后内容。粤语和内存较小的设备继续使用更保守的策略。

停止录音后,已经完成的批次直接复用;还在处理的批次继续完成,再补齐尾段。这样录了很久之后,不必因为按了一次停止,就把已经做过的工作全部从头再做一遍。

这三层之间也有明确的分工:实时字幕追求及时,快速修正改善过程中的可读性,分批定稿再做更完整的识别和整理。它们都依赖同一份原音,但不会因为某一层暂时落后,就把原音删掉。

三阶段转录示意图:即时字幕、约 30 秒完整发言修正、普通话和英语分批定稿,以及停止后补齐尾段。
技术流程示意图。(原图未随正文提供)

我用了哪些模型?

做这套流程时,我没有让一个模型包揽所有事情,而是按每一步需要解决的问题选择:

Paraformer 中英双语流式模型:负责普通话、英语的即时字幕,先让说过的话尽快出现在界面上。

Silero VAD:帮助判断音频中的语音活动,为实时发言切分提供依据。

Qwen3-ASR-1.7B(8-bit):负责普通话、英语的快速修正和分批定稿;粤语实时识别也使用有界的 Qwen 流程。

Streaming Sortformer 4-speaker v2.1:分析声音中的发言人变化,为同一次录音里的发言人归属提供依据;不确定时保留未知状态。

Qwen3-ForcedAligner-0.6B(8-bit):把识别出的文字尽量对齐到原音时间,用于分句、回听和检查批次边界。

其中 Qwen 和 Sortformer 通过 Mac 上的 MLX 运行,实时 Paraformer 使用 ONNX 运行时。模型需要先在本机准备好,识别过程在本机进行;这和后面是否开启账号同步,是两件分别控制的事情。不同模型各有边界,组合起来也不能保证每个字和每个发言人都对。

批次可以分,文字和发言人不能跟着乱分

把长音频拆成批次后,又出现了一个新问题:批次边界是程序处理的边界,不一定是一句话的边界。

比如一句话刚说到一半,正好碰到批次结束。如果把前后两批简单拼起来,可能重复几个字,也可能漏掉边界附近的内容。发言人识别如果每批都重新编号,还可能把同一个人前后显示成不同的人。

我的处理方式是,先让每批记录自己负责的原音区间,前后区间首尾相接。需要重叠的地方,结合识别返回的词级时间和前面已确认的文字检查;不能确定时,保留候选结果和原音,不悄悄删字。

发言人方面,我把状态延续到下一批,让同一次录音尽量使用同一套发言人身份。文字排版则先看完整句子的归属,再决定怎么分段:同一发言人的中文以约 50 字和句末标点为参考;超过 5 秒的停顿要断开;确认换人时另起一段。英文按完整单词处理,也兼顾不同语言的句末符号、引号、小数和缩写。

我之前还遇到过一个单独的“我”:它的时间戳没有对齐,却被拆成了一行。现在的做法是尽量保留整句话;如果整句时间无法确定,就把它标记为待对齐,同时保留能确认的局部播放范围,而不是编一个精确时间。

分句与发言人示意图:结合文字、词级时间和声音证据,同一人按句阅读,换人和长停顿分开。
技术流程示意图。(原图未随正文提供)

发言人模型也不是永远正确。声音相似、多人重叠或者背景噪声较大时,归属仍可能不确定。我宁愿显示“未确定”,也不想为了让界面整齐,把不同人的话硬合在一起。

让它在后台做事,也要给内存留余地

边录边处理,代价是录音过程中会多出识别工作。尤其是 mini 模式,如果看起来只有一个小窗口,后台却同时跑好几个大模型,体验还是会受影响。

所以,我没有把每个定稿批次的完整 PCM 音频都复制一份放进队列。队列里主要保存原音的区间引用,需要处理时再从已经封存的片段读取;快速修正也只保留有上限的短音频缓冲。

普通话和英语的重推理任务按顺序执行,完成后对应的子进程退出,减少多个大任务同时占用内存的情况。录音采集和轻量实时字幕不需要等定稿任务结束才继续。

测试中也遇到过异常:一段反复拼接的英文压力音频,让模型输出碰到了长度上限。如果直接保存半截结果,后面的文字就可能悄悄不见。

现在遇到这类保护条件时,程序不会提交截断的候选,而是只对失败的那一批尝试更短的窗口。那次压力样本的已识别正文最终保住了,但其中部分时间对齐仍不可靠,因此被标记为待确认。这说明恢复流程有了兜底,也说明复杂音频的识别和对齐还有改进空间。

性能上,我目前测到长批次重推理有约 6~7 GiB 的短时物理内存峰值,任务之间会释放模型;正式客户端空闲时的物理内存采样约 109 MiB。这是本机、特定测试条件下的结果,不代表所有 Mac 都一样。我还没有做电池续航或实际功耗测试,所以现在只能说做了资源控制,不能给出“全天低功耗”的结论。

录完之后,我更想让 Agent 帮我用起来

长时间录音真正的问题,不只是能不能转出一大篇文字,而是转完之后,谁有时间从头看一遍。

所以 Mac 客户端目前更专注于把原音和转录管理好:可以分组、搜索、星标,找到一段内容后再回听原音。个人热词也可以补充常见的人名、项目名和术语,帮助识别;它不是一份保证每次都准确替换的词典。

需要提炼重点、查找某个决定的上下文,或者解释讨论里出现的术语时,我更希望交给自己习惯的 Agent。TalkTuck 提供 CLI、MCP 和 Skill 接入,让 Agent 查询已保存的录音和转录,再由 Agent 按具体任务整理。

我没有把分析结果都塞进客户端的固定模板:技术交流、访谈和日常讨论需要关注的内容不一样,交给外部 Agent 按场景处理,会更灵活。读取到文字之后,Agent 采用什么服务、会不会联网,也取决于用户自己的 Agent 配置。

原音和转录先保存在本机。登录 TalkTuck 账号后,当前方案默认同步录音资料、转录定稿、分组和原音,可以在设置里暂停;录音中的临时字幕不上传。需要给别的 Agent 或服务读取时,也要注意实际授权范围。

跑过一段 8 小时实录,还要继续打磨

昨天我在 Mac 上实际录过一段约 8 小时 2 分 13 秒的音频。回头检查,这条录音留有 2894 个麦克风原音片段和本地转录,资料库中显示处理已完成,尾部也有对应的转录记录。

这是一段真实的长录音,不只是把一段短音频重复拼接出来的索引测试。不过,录音时长不等于 8 小时都有人讲话;这条记录的发言人分析仍有部分待确认,我也还没有给它制作逐字参考稿,不能据此声称每句话都识别正确。它使用的是当时的处理流程,不能直接当作今天这套三阶段流程连续运行 8 小时的验收。

这次针对新的分批流程,我又用了刚才约 5 分钟的录音,以及真人朗读者组成的约 10 分钟中文、英文音频做回放验证。英文用例停止录音前,已经完成了前 354.5 秒的定稿;中文受控样本的 126 句和英文受控样本的 61 句,在这轮检查中没有发现已确认发言人归属错误或跨真实换人的段落合并。

另外,8 小时规模的加速区间索引用例,用来检查长录音的区间覆盖和恢复。它和昨天的真实长录音是两项不同的验证:前者没有连续运行 8 小时模型推理,后者也没有完成逐字准确率标注。真人朗读样本经过受控拼接,不能替代嘈杂环境下的自然多人对话测试。

接下来我想继续用真实的长时间工作场景测一整天:看设备切换、声音丢失后的恢复、文字追赶速度、内存和实际耗电。等这些数据有了,再回来补上结果。

上一篇做手表时,我花了很多精力解决声音怎么从手表稳妥地到手机。这次换到 Mac,问题变成了:录音一直在进行的时候,怎么让声音、即时文字和定稿各走各的节奏,最后还能接回同一条时间线。

先把声音留下来,再把文字整理好。至于怎么理解这些内容,交给自己习惯的工具继续做。

产品介绍:TalkTuck(https://xueshengguo.com/apps/talktuck/)