模型72°

蚂蚁开源 Duo:把交互决策放进世界模型的双向数字人框架

精选理由

蚂蚁开源的 Duo 和常见数字人管线不是一回事:它把'什么时候说话'的决策做进了模型本身,Intent 每 0.7 秒判断开口或等待,Realization 再同步生成音视频。做虚拟陪伴、游戏 NPC 或实时交互的开发者可以拉下来跑跑,看看这套范式比对话树方案顺滑多少。

蚂蚁集团开源了 Duo,官方称其为首个双向世界模型的实现,核心目标是让虚拟人自主决定何时说话、何时倾听,并实时生成视听回应。传统数字人依赖 ASR、LLM、TTS、面部驱动拼装的管线,交互节奏靠外部脚本控制;Duo 把智能主体放进世界模型内部,由模型自身完成交互决策与表达。

正文

架构上由两个耦合模块组成:Intent 模块相当于大脑,每约 0.7 秒处理一个时间块,结合用户输入和交互历史决定 speak 或 wait,并生成语言内容;Realization 模块相当于身体,直接接收 Intent 的隐状态(而非仅读取最终文本),结合用户输入与历史画面联合生成音频和视频。两个模块在同一时间线上因果同步,通过注意力掩码防止访问未来信息,保证交互决策与视听生成持续衔接。

蚂蚁将 Duo 的意义定位为范式层面:如果世界模型能内生承载具备自主交互决策的智能主体,游戏 NPC、虚拟陪伴、沉浸式培训等场景将不再依赖触发式对话树。相比物理世界模拟方向的世界模型(光影、材质、运动),Duo 把推理和交互决策纳入世界模型本体,为实时数字人交互提供了新的开源参考实现。

原文 · AIGCLINK

蚂蚁刚刚开源 Duo:双向世界模型的首个实现,让虚拟人自主决定何时说话、何时倾听,实时生成视听回应

现有的世界模型大多聚焦于模拟物理世界,比如说光影、材质、运动,人通过外部控制信号影响场景演化,推理和交互决策不属于世界模型本身

而数字人呢本质是拼装管线,语音识别、LLM 想词、语音合成、驱动面部,什么时候说话、被打断怎么办,全靠外部脚本

Duo是把智能主体放进世界模型内部,让它自己决定什么时候开口、什么时候倾听,并生成与之一致的表情、口型、声音,不是你控制它,是你和它在同一个时空里互相感知、互相回应

核心架构是两个紧密耦合的模块:

Intent:负责思考和决策,相当于虚拟主体的大脑 每约0.7秒处理一个时间块,结合你的输入和交互历史,决定是speak还是wait,并生成对应语言内容

Realization:负责视听表达,相当于虚拟主体的身体 它直接接收Intent的隐状态,并不是只读取最终生成的文本,再结合你的输入和历史画面,联合生成音频与视频

两个模块在统一时间线上因果同步,通过注意力掩码防止访问未来信息,让交互决策和视听生成能够持续衔接

这个模型的范式意义大于产品意义

如果世界模型能内生承载具有自主交互决策能力的智能主体,那未来的游戏NPC、虚拟陪伴、沉浸培训,就不再是触发式对话树,而是真正“活”在场景里的存在了

#数字人 #Duo #世界模型 #WorldModel

产业坐标与信源核验

本条情报归属 AITOP「模型」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Duo、蚂蚁集团、世界模型、数字人,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「AIGCLINK」(@aigclink),经 AITOP 多维评分管线结构化提炼。