用 EmbeddingGemma 2 微调越南语 ASR 模型，78 美元做到 SOTA
78 美元、3 小时微调就做出越南语识别 SOTA，WER 还赢了 Gemini，小语种 ASR 可以照这个路子抄作业了。
有人基于谷歌 EmbeddingGemma 2 的预训练音频编码能力，只微调编码器顶部 2 层、再训练一个 6 层 Transformer 读取器，做出越南语 ASR 模型。训练用了 3000 小时越南语音频，8 张 H100 跑约 3 小时，总花费仅 78 美元。该模型在 8 个越南语基准上平均 WER 为 6.87%，超过 Gemini-Flash-3.8 的 6.92% 和 ElevenLabs Scribe v2 的 7.08%。由于采用 CTC 解码、不做自回归逐 Token 生成，CPU 推理速度达到实时语音的 200 倍，并支持越英混合口语和流式识别。
谷歌EmbeddingGemma 2的第三个“歪用”用例，只花了78美元训练费用，就做出了越南语ASR的SOTA级模型
3000小时越南语音频训练，8张H100 约3小时 CPU推理速度达实时语音的200倍，支持越英混合口语
大量被通用模型照顾不到的地方语言/口音，可能会迎来一波低成本专用模型
8个越南语基准平均WER为6.87%居首，略超过Gemini-Flash-3.8的6.92%、Cohere Transcribe的7.01%、ElevenLabs Scribe v2的7.08%
网友复用EmbeddingGemma 2的预训练音频编码能力，仅微调12层音频编码器的顶部2层，再训练一个6层 Transformer读取器，通过CTC解码将音频特征映射为文字
这种设计无需自回归逐Token生成，有利于提高转写吞吐量；Reader采用动态音频分块训练，还支持流式识别
以前要为一个小语种或一个地方方言训练高性能STT，数据和算力都是门槛，现在只微调部分编码层，再接上Reader+CTC，就做到了与Gemini同级的识别精度
这条路线如果能跨语言复现，可能会影响大量小语种、方言等细分语音识别市场的竞争格局
来自 @stablequan
#STT #ASR #EmbeddingGemma2
