vLLM-Omni 支持 9B 流式视频模型 AURA 2.0,首音频包延迟 344 ms
华为联合港中文、港科大出的 9B 流式视频模型,能看直播面、自己找话题说话,还能边聊边调工具、用框圈出画面里的东西。vLLM 第一时间支持,首音频包延迟压到 344 ms,做实时视频交互的可以直接下权重试。
vLLM 推理框架为 AURA 2.0 提供了 Day-0 支持。AURA 2.0 是一个 9B 参数的流式视频模型,来自 Huawei Research、CUHK MMLab 和 HKUST 团队,能实时观察场景、主动发起对话并对所见内容采取行动。
该模型具备三项核心能力:模型自主决定何时说话、说什么,无需等待提问;基于实时画面和对话进行流式工具调用,并把结果带回对话;用帧对齐的边界框指出正在讨论的物体。vLLM-Omni 承载了从语音识别、视频语言推理到语音生成的完整管线,通过会话与前缀复用、静默轮次快速路径和句级语音交接,在双 ~140 GB 加速器的单会话设置下做到中位 344 ms 的首回复音频包延迟。
在 IPIBench、StreamArena、ProactiveVideoQA 和 PhoStream 四项聚合基准对比中,AURA 2.0 均排名第一。模型权重已在 Hugging Face 上开源,项目页面附有演示。
🎉 Day-0 support for AURA 2.0 in vLLM-Omni!
A 9B streaming video model that watches the scene, starts relevant conversations, and acts on what it sees.
💬 Model-Initiated Conversation: decide when to speak and what to say, without waiting for a question. 🔧 Stream-Aware Tool Calling: use the live scene and conversation to call tools and bring results back into the dialogue. 🎯 Interactive Visual Grounding: point to the objects being discussed with frame-aligned boxes.
vLLM-Omni powers the pipeline from speech recognition through video-language inference to speech generation. Session and prefix reuse, a fast path for silent turns, and sentence-level speech handoff deliver 344 ms median time to the first reply audio packet in the single-session setup with two ~140 GB accelerators.
AURA 2.0 leads the four aggregate benchmark comparisons shown below: IPIBench, StreamArena, ProactiveVideoQA and PhoStream.
Thanks to the AURA team at @Huawei Research, CUHK MMLab and HKUST!
Project & demos: https://t.co/gY7xPK7JY9 Weights on @huggingface: https://t.co/DpSFanXqAb
本条情报归属 AITOP「模型」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:AURA、vLLM、Huawei、多模态,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「vLLM」(@vllm_project),经 AITOP 多维评分管线结构化提炼。