产品精选

社区开发者用 VoxCPM2 打造本地化视频配音工具 VoxaDub

精选理由

一个社区开发者基于 OpenBMB 的 VoxCPM2 做的开源配音工具,转录、翻译、语音克隆、对时轨一条龙,全流程能离线跑。相比 ElevenLabs 那种云端方案,本地运行对在意隐私和成本的内容团队更友好,翻译还能带术语表,做视频出海的可以试试。

OpenBMB 社区开发者 kadirrbrtt 发布 VoxaDub,一个基于 VoxCPM2 语音克隆的开源视频配音工具,支持完全本地离线运行。工作流分五步:先转录对话并对齐时间戳、可选说话人分离,再由本地 Hy-MT2 模型结合上下文和术语表完成翻译,然后用每位说话人的干净音频片段引导 VoxCPM2 合成配音,保留各自的音色特征。

正文

在时长匹配环节,工具通过时长感知的翻译微调和有界音频调整,让配音贴合原场景节奏;最后将配音与原背景音轨混合重建视频,唇形同步作为独立可选项提供。项目还实验性支持直播实时配音,内置时间对齐 safeguard,但不承诺完美同步。

对做本地化内容的团队来说,这条链路全部可离线部署,降低了依赖云端配音 API 的成本和隐私顾虑;相比 ElevenLabs 等云服务方案,VoxaDub 的开源和本地优先定位更适合需要数据不出本的创作者和企业。

原文 · OpenBMB

🎬 A new language. A familiar voice.

Community developer @kadirrbrtt built VoxaDub, a local-first video dubbing tool that brings VoxCPM2 voice cloning into a multilingual workflow. 🌍

From source video to dubbed output: 📝 Transcribe & align: Transcribe dialogue and align timestamps, with optional speaker diarization to distinguish who speaks when. 🧠 Translate: Local Hy-MT2 translation uses surrounding context and optional terminology. 🎙️ Generate voices: Selected clean audio clips from each speaker guide VoxCPM2 synthesis, helping preserve distinct voice characteristics in the translated dialogue. ⏱️ Fit the timing: Duration-aware translation refinement and bounded audio adjustments help fit speech into the original scene. 🎞️ Rebuild the video: Combine dubbed speech with the original background audio. Optional lip-sync is available as a separate step.

🔒 Offline dubbing can run fully locally after model setup, with optional cloud compute choices.

⚡ VoxaDub also explores live broadcast dubbing, currently experimental. Timing safeguards help improve alignment without promising perfect synchronization.

We love seeing our community turn VoxCPM2’s expressive speech generation into tools that help stories reach new audiences. 💙

🛠️ Explore VoxaDub and its multilingual demos: https://t.co/8YaTwW5OWI 🚀 VoxCPM GitHub: https://t.co/VjpJxoyoLr 🤗 VoxCPM2 on Hugging Face: https://t.co/NE1t03jOXz

#VoxCPM2 #OpenBMB #AIDubbing #OpenSource

产业坐标与信源核验

本条情报归属 AITOP「产品」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:VoxCPM2、OpenBMB、VoxaDub、视频配音,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「OpenBMB」(@OpenBMB),经 AITOP 多维评分管线结构化提炼。