Fish Audio 发布全双工语音模型 Live 3
做语音智能体的朋友可以看看 Fish Audio 新出的 Live 3,能听懂"嗯嗯"这类反馈,也不会在用户话说一半时插嘴。相比传统串行语音助手,全双工让对话自然很多,企业还能免费申请定制,开发者可以直接上手试。
做语音智能体的朋友可以看看 Fish Audio 新出的 Live 3,能听懂"嗯嗯"这类反馈,也不会在用户话说一半时插嘴。相比传统串行语音助手,全双工让对话自然很多,企业还能免费申请定制,开发者可以直接上手试。
语音AI不用等你说完才回话了,OpenAI和Telos都在做全双工,你中途改口它会自己调整答案。
两个 PersonaPlex-7B 模型互相打电话,结果轮到说话比人类慢三四倍,因为它们在傻等对方说完,不会预判话轮结束,挺有意思的。
MultiTalk解决了长多语会话难题,训练数据和评估基准都开源了,模型表现比现有开源方案好很多。
跑全双工语音模型的开发者可以看,它把推理速度提到原来的 2.85 倍还省内存,输出结果完全一致。
全双工语音模型聊久了内存会爆,这篇用转录旁路压缩KV,十分钟会话峰值缓存直接砍掉64.6%,性能还不掉。
NemotronLabs 开源了全双工语音模型 VoiceChat,能边聊边调工具,被打断也接得住,做语音智能体的可以看看。
微软弄了个能边听边说的语音模型MAI Realtime,支持16种语言,还能中途换语言,比Copilot现在的语音更自然。