模型多源确认精选

蚂蚁开源 Ming-3.0 系列 5 个语音模型,覆盖 TTS、音频理解和 ASR

精选理由

蚂蚁开源了 5 个 Ming-3.0 语音模型,TTS 能用一句话指挥语气情绪,audio 模型直接听懂录音不用转文字,想自己搭语音 Agent 的可以试试。

蚂蚁百灵团队开源 Ming-3.0 系列共 5 个语音模型,覆盖语音合成、音频理解和语音识别三个环节。TTS 方向的 Ming-3.0-tts 支持“导演式语音生成”,可用自然语言指令控制音色、语速、音高、情绪和叹气、笑声等副语言表现,提供 Tiny 7.9B/A1.3B 和 0.5B 两种规格。Ming-3.0-audio 是原生音频理解模型,无需中间转写即可直接推理音频内容,能总结长录音、理解音乐和环境声音,规格为 Flash 126B-A6.5B 和 Tiny 9.3B-A2.7B。ASR 方向的 Ming-3.0-asr-tiny 强化方言和专业术语识别,通过 Context ASR 结合热词和历史对话提升复杂场景准确率。全部模型可自行部署,可组合搭建完整的语音 Agent。

原文 · AIGCLINK

蚂蚁一口气又开源出来了5个模型,涵盖了听懂、回答、说话三个环节,TTS、原生音频理解、ASR

可组合、可自行部署,用这个链路可以搭一个从“听—理解—合成”的语音Agent出来

TTS方面:Ming-3.0-tts,最有价值的是“导演式语音生成”,声音可以通过自然语言来设计

模型可以按照指令控制音色、语速、音高、情绪、重音以及叹气、笑声、停顿等副语言表现

有两款模型:Tiny 7.9B/A1.3B、0.5B

Audio方面:Ming-3.0-audio,不是单纯的ASR也不是TTS,应该说是有听觉能力的大模型,原生音频理解与推理,无需中间转写

能直接听懂声音、理解和推理音频,以文字或语音回答,也可以结合外部工具构建语音Agent

比如说总结长录音、回答口头问题、理解音乐和环境声音等

也是两款模型:Flash 126B-A6.5B/Tiny 9.3B-A2.7B

ASR方向:Ming-3.0-asr-tiny,这次重点强化了方言、专业术语以及上下文识别

核心是它的Context ASR能力,结合专业术语、候选热词和历史对话,可以提高复杂场景下的识别准确率

#ASR #TTS #蚂蚁百灵大模型