Speech技术是指将文本转换为语音或将语音转换为文本的技术,当前正处于快速迭代和突破性发展的阶段。各大科技公司竞相推出新一代语音模型,推动语音合成与识别能力达到新高度。
Speech 近期进展
Google在2024年9月发布了Gemini 3.8系列语音模型,其中3.8 TTS支持仅通过20秒录音即可复刻个人声音,或通过提示词设计全新音色。同时推出的还有Gemini 3.8 Flash TTS与3.8 Flash-Lite TTS,进一步提升了语音生成的效率和质量。Google发布Gemini 3.8 Flash TTS与3.8 Flash-Lite TTS语音生成模型
Gemini 3.8 Live模型在Speech to Speech基准测试中排名第一,支持实时语音对话及复杂指令的Thinking版本,并能无缝切换97种语言。这一突破性进展使实时多语言语音交互成为现实。谷歌推出Gemini 3.8 Live和3.8 Live Extended Thinking实时对话模型,支持97种语言切换
Suno新增语音生成功能,能够创建匹配背景音乐的语音音频,为内容创作者提供更丰富的表达工具。这一功能展示了Speech技术与音乐创作的深度融合。Suno新增语音生成功能
当前焦点与观察点
Speech技术正朝着更自然、更个性化、多模态的方向发展。Google Gemini 3.8系列和阶跃StepAudio 3系列在多项基准测试中登顶全球第一,表明中国企业在语音技术领域的竞争力显著提升。阶跃发布StepAudio 3系列,多模型登顶全球第一
Adobe Firefly扩充音频服务,新增AI音频工具并与Google Gemini Omni Flash合作,预示着Speech技术将在创意产业中发挥更大作用。Adobe与Google的合作反映了行业生态系统的整合趋势。Adobe Firefly新增AI音频工具与Google Gemini Omni Flash
ADPTNet架构的创新展示了Speech技术正借鉴人类听觉皮层的工作原理,非线性SSM序列建模方法为语音处理提供了新思路。这种跨学科融合将推动Speech技术的进一步突破。ADPTNet:受听觉皮层启发的非线性SSM序列建模新架构