智元发布 WITA-Omni:行业首个具身全模态端到端交互大模型
号称行业首个具身全模态端到端交互大模型,智元发布 WITA-Omni
做机器人交互的可以看看智元这个 WITA-Omni:全双工架构把响应压到 400 毫秒左右,还带触觉输入和表情输出,跟纯语音模型思路不一样。7 月它还拿过 DailyOmni 榜单第一,关心具身智能路线的团队和开发者都值得对比研究。
智元机器人(AGIBOT)于 11 月 10 日发布 WITA-Omni(硅光动语)全模态大模型,官方称其为行业首个具身全模态端到端交互大模型。模型基于机器人本体感知数据训练,输入端除音视频外新增触觉和本体状态,输出端覆盖机器人动作与表情。
技术上,WITA-Omni 采用流式全双工架构,可边听、边想、边应、边动、边做表情,交互响应最快约 400 毫秒、平均约 600 毫秒,官方称较业内平均水平快近 3 倍。全模态拒识机制结合对话朝向、视频、音频、声纹、唇动、姿态、语义和上下文判断是否回应,去掉唤醒词,并降低多人交谈与环境广播造成的误触发。模型支持上百种语言和方言免切换交流,可做流式同声传译和双向互译,还能在面部屏幕实时绘制内容进行可视化讲解。
情感表达方面,模型结合参数化面部表情、声音和肢体动作,可呈现开心、惊讶、悲伤等几十种情绪并区分强度。此前 7 月,WITA-Omni Preview 以 85.21 分登顶 DailyOmni 全模态理解榜单,超过千问、Gemini、豆包、英伟达等模型,并在八项细分指标中六项第一。
号称行业首个具身全模态端到端交互大模型,智元发布 WITA-Omni
IT之家 11 月 10 日消息,“智元 AGIBOT”公众号今天(10 日)晚间发文宣布,智元正式发布 WITA-Omni(硅光动语全模态大模型)。 根据官方介绍,该模型也是 行业首个具身全模态端到端交互大模型 。WITA-Omni 基于机器人本体感知数据深度训练,除了音视频输入输出,还新增支持 触觉、本体状态等输入 ,以及 机器人动作、表情等输出 ,让机器人第一次拥有为物理世界而生的“交互大脑”。 基于流式全双工架构,WITA-Omni 可做到 边听、边想、边应、边动、边做表情 ,减少传统串行处理中的等待。交互响应最快约 400 毫秒、平均约 600 毫秒,较业内平均水平快近 3 倍。 同时,全模态拒识让机器人交互 不再需要唤醒词,全程自然对话 。系统结合对话朝向、视频、音频、声纹、唇动、姿态、语义和上下文,决策当前发言是否需要回应。面对多人交谈或环境广播等干扰时,极大降低误触发,让机器人更懂“看场合”。 WITA-Omni 支持上百种语言和方言的免切换自由交流,并结合全双工架构,实现了流式同声传译(语言传译 & 方言传译),以及双向互译。 WITA-Omni 情感表现力更加拟人。倾听时,机器人能够通过细腻的表情和自然的头部动作给予回应;表达时,结合参数化的面部表情、富有感染力的声音与协调的肢体动作, 生动呈现开心、惊讶、激动、悲伤、满意、痛哭、认真与自信等几十种情绪 。每种情绪还能展现不同强度:同样是开心,既可以浅浅一笑,也可以开怀大笑,让对话更真实、更有温度。 WITA-Omni 不仅能说、能看、能动,还能画。例如,想讲一个复杂产品时,或想给孩子讲一个科普小知识时,WITA-Omni 会智能决策, 将一言难尽的内容在面部屏幕实时可视化出来 ,让用户一目了然。 此外,WITA-Omni 能够持续感知周围环境、用户状态及其变化,自主思考、决策并采取行动, 在恰当时机主动发起互动 。官方宣称,机器人也能有自己的“小心思”:见到贵宾,会主动欢迎、伸手握手;收到点赞,会开心回应;看到用户挥手告别,也会立刻挥手相送。 据IT之家此前报道,今年 7 月,WITA-Omni Preview 模型以 85.21 分综合成绩登顶登顶 DailyOmni 全模态理解榜单,超过千问、Gemini、豆包、英伟达等国内外领先模型,并在八项细分指标中的六项取得第一。 相关阅读: 《 全球第一,智元 WITA-Omni Preview 具身大模型登顶 DailyOmni 全模态理解榜单 》
本条情报归属 AITOP「模型」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:智元、WITA-Omni、具身智能、多模态,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「IT之家」,经 AITOP 多维评分管线结构化提炼。