模型

蚂蚁百灵开源 Ming-3.0 语音系列五款模型,覆盖 TTS、音频理解与 ASR

蚂蚁百灵开源 Ming-3.0 语音系列模型,覆盖语音合成、音频理解与对话、语音识别

精选理由

蚂蚁一口气开源了五款语音模型,TTS 还带导演模式,能指定哪句重读、情绪怎么变,直接下载或调 API 都行。

蚂蚁百灵于 10 月 20 日开源 Ming-3.0 语音系列,共五款模型,分为语音合成、音频理解与对话、语音识别三组。Ming-3.0-tts 支持 Voice Design 文字描述音色和导演模式标注台词情绪与重读。Ming-3.0-audio-flash / tiny 可直接对长音频做转写、总结和结构化输出,保留情绪与说话人信息。Ming-3.0-asr-tiny 已用于阿福医生助手、支付宝搜索等蚂蚁内部业务,模型权重在 Hugging Face 和 ModelScope 提供。

原文 · IT之家

蚂蚁百灵开源 Ming-3.0 语音系列模型,覆盖语音合成、音频理解与对话、语音识别

IT之家 10 月 20 日消息,蚂蚁百灵今日宣布开源 Ming-3.0 语音系列,分别提供语音合成、音频理解与对话、语音识别三个系列,共五款模型。开发者可以按任务选择,也可以将不同能力组合进自己的工作流。 Ming-3.0-tts 系列的 Voice Design 可以用文字描述目标音色,同时也支持参考音频的音色设定。更具特色的是,创作者可以用导演模式说明台词的表演方式,描述情绪如何变化、哪些词需要重读,以及节奏应如何处理。 在蚂蚁,从阿福 App 的主对话与语音通话,到医生音色克隆、小虎智能办公,Ming-3.0-tts 已进入多类业务。它既可以独立承担配音,也可以与 Ming-3.0-asr-tiny 组合,连接语音输入和回答播报两个环节。 Ming-3.0-audio-flash / tiny 支持直接对长音频的转写、总结和观点分析等复杂理解,并进行结构化输出。相对传统的先语音识别逐字稿再分析的过程,能保留对话中的情绪、说话人身份、环境信息等,另外还需要模型对长上下文序列的快速推理。 MIng-3.0-asr-tiny 通过构建普通话、英文、方言、领域热词等高质量语料,合理控制分布,再结合语言模型基座强大的上下文理解能力,利用候选热词列表、对话上下文信息,为真实业务场景带来语音识别效果的全面提升。 在蚂蚁,Ming-3.0-asr-tiny 已用于阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身等场景。 IT之家附相关链接如下: 在线体验: https://ling.tbox.cn 在线体验:访问 Ling Studio Chat,选择 Ming-3.0-audio-flash,体验音频理解与对话能力 API 调用:Ling Studio 提供 Ming-3.0-tts-0.5B、Ming-3.0-audio-flash 和 Ming-3.0-asr-tiny 的 API 服务 Ming-3.0-tts-0.5B Hugging Face: https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B ModelScope: https://www.modelscope.cn/models/inclusionAI/Ming-3.0-tts-0.5B Ming-3.0-tts-tiny Hugging Face: https://huggingface.co/inclusionAI/Ming-3.0-tts-tiny ModelScope: https://www.modelscope.cn/models/inclusionAI/Ming-3.0-tts-tiny Ming-3.0-audio-flash Hugging Face: https://huggingface.co/inclusionAI/Ming-3.0-audio-flash ModelScope: https://www.modelscope.cn/models/inclusionAI/Ming-3.0-audio-flash Ming-3.0-audio-tiny Hugging Face: https://huggingface.co/inclusionAI/Ming-3.0-audio-tiny ModelScope: https://www.modelscope.cn/models/inclusionAI/Ming-3.0-audio-tiny Ming-3.0-asr-tiny Hugging Face: https://huggingface.co/inclusionAI/Ming-3.0-asr-tiny ModelScope: https://www.modelscope.cn/models/inclusionAI/Ming-3.0-asr-tiny