微调 Whisper 帮失语者重建语音：LoRA 让 WER 从 49% 降到 17%

一篇 arXiv 论文报告了为一位脑瘫合并构音障碍研究者定制的语音识别系统。作者用 LoRA 在消费级硬件上微调 OpenAI 的 Whisper medium 和 large-v3，使用自己录制的语音样本。在 100 条未见过的测试语句上，medium 的词错误率（WER）从 49% 降到 17%，large-v3 从 30% 降到 12%；字符错误率（CER）分别从 26% 降到 7%、从 16% 降到 5%，剩余错误主要是轻微音素替换。 在此基础上，作者开发了 AVoz 移动应用，把他本人的语音实时转成合成语音播放给听者，全部处理在本地完成，音频不出设备。论文还公开了完整的 LoRA 配置、实现代码和逐步录音训练协议，其他言语障碍者或其家属只需几小时标注音频和几天的 GPU 时间即可复现整套流程。 通用 ASR 系统对中重度言语障碍者的识别失败是长期痛点，这项工作用个人化微调给出了可复制的低成本方案，对无障碍技术和开发者社区都有直接参考价值。