模型多源确认76°

FishAudio 开源语音模型 Drama 3,单段文字可演绎 16 个角色

精选理由

FishAudio 开源了 Drama 3,一段文字最多能配 16 个角色音,读错字改文字就能接上,做广播剧播客能试试。

FishAudio 开源了语音生成模型 Drama 3,文本骨干采用 Qwen 35B-A3B 架构,参数规模远超常见的几 B 语音模型,对显存要求更高。模型可在同一段文字中区分并演绎最多 16 个不同角色的声音,适合制作广播剧和多人朗读内容。提供一段简短参考音频即可克隆对应音色,在文本中插入叹气、笑声等情绪标签可以控制语气。读错字时只需修改对应文字,模型会顺着原语流补齐新音频,长文本则自动切块生成并支持边生成边播放。模型已开源但不可商用。

原文 · Gorden Sun

FishAudio开源Drama 3:最强开源语音模型

文本骨干模型是35B-A3B的Qwen模型,通常的语音模型都几B,这个语音模型就显得特别吃显卡。但是能力确实没得说:

· 一人分饰多角:同一段文字里最多可以区分并演绎 16 个不同角色的声音,很适合用来制作广播剧、多人小说朗读或对话类节目。

· 声音克隆与情绪控制:用户提供一段简短的参考音频,模型就能模仿对应的音色;同时支持在文字中加入叹气、笑声等情绪标签,让语气更贴近真人。

· 像改文档一样改音频:如果读错了一个词,不需要整段重新生成,只修改有变动的文字,模型就能顺着之前的语流把新的部分接上。

· 长文本流畅处理:遇到较长的文章,系统会自动切块生成,并支持边生成边播放,减少等待时间。

模型,开源但不可商用:https://t.co/bncewAHaAi