模型

tiny-voca:4.5M 参数 TTS 仅用合成语音训练,CPU 推理达实时 70 倍

精选理由

用 Qwen3-TTS 生成的 17.6 小时合成语音,就训出了一个 4.5M 参数、9.56 美元成本的 TTS,CPU 上跑得飞快。不用真人录音、不用神经声码器,做端侧语音的开发者可以直接看看这条 Source-Filter 路线怎么落地。

开发者 n4ze3m 从零训练了一个仅 4.5M 参数的 TTS 模型 tiny-voca,训练数据全部来自 Qwen3-TTS 生成的合成语音,全程没有使用任何真人录音。训练数据为 Qwen3-TTS 生成的 17.6 小时共 16018 段英语语音,整个项目的 GPU 使用成本只有 9.56 美元。

正文

技术上,tiny-voca 没有采用常见的神经声码器,而是使用 Source-Filter 合成架构:先预测音高、能量、浊音状态等语音特征,再通过声源信号和动态滤波器合成最终波形,这也是模型能压缩到 4.5M 的关键原因。它还配有自研的音素转换器,能结合上下文处理数字、日期和金额的发音。

推理方面,模型在普通 CPU 的 4 线程下可达实时语音速度的 70 倍,适合端侧部署。目前仅支持英语,不支持声音克隆和流式生成。该项目展示了一条通过高质量合成数据蒸馏轻量端侧语音模型的可行路线。

原文 · AIGCLINK

一个从没听过真人声音的AI,靠另一个AI生成的语音,学会了说话!

有人从零训练了一个只有4.5M参数的TTS,tiny-voca,训练数据全部来自Qwen3-TTS生成的合成语音

普通CPU就能运行,推理速度可达到实时语音速度的70倍(4线程CPU),整个项目的GPU使用成本只有9.56美元

其先用Qwen3-TTS生成17.6小时共16018段英语语音,再用这些合成数据训练,让AI学会把文字转换成语音

tiny-voca没用常见的神经声码器,用的是Source-Filter合成架构。简单说,它先预测音高、能量、浊音状态等语音特征,再通过声源信号和动态滤波器合成最终波形

这是一个更轻量的语音生成路线,也是它能把整个模型控制在4.5M左右的一个原因

它还有一个自己开发的音素转换器,能结合上下文处理数字、日期以及金额,让文字转换成更合适的发音

当然目前也只支持英语,没有声音克隆和流式生成,不过它展示了一条值得关注的技术路线,通过高质量合成数据,是不是也有机会蒸馏出足够轻量、适合端侧的模型

项目来自 @n4ze3m

#TTS #端侧TTS #tinyvoca

产业坐标与信源核验

本条情报归属 AITOP「模型」核心追踪栏目。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:tiny-voca、Qwen3-TTS、TTS、端侧TTS,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「AIGCLINK」(@aigclink),经 AITOP 多维评分管线结构化提炼。