Omni是人工智能领域的一种多模态技术框架，能够处理文本、图像、音频和视频等多种数据类型。近期，随着AI技术的快速发展，Omni相关模型在性能优化和应用拓展方面取得了显著进展。
Omni 近期进展
47毫秒的音频延迟是vLLM-Omni流式架构的最新表现，这一数据标志着多模态交互响应速度的重要突破。vLLM-Omni 流式架构解析：首块音频延迟约 47 ms。Liquid AI近期开源了d1-3B与d1-omni-600M两款决策模型，这两款模型采用零输出tokens设计，为多模态决策领域提供了新的技术方案。Liquid AI 开源 d1-3B 与 d1-omni-600M 决策模型。
23毫秒的单卡RTX 5090音频延迟记录由fractalyze_io在优化Qwen3-Omni时创造，这一数据将多模态模型的实时交互性能提升到了新的高度。fractalyze_io 优化 Qwen3-Omni，单卡 RTX 5090 首音频延迟降至 23ms。
当前焦点与观察点
Omni技术正朝着更高效、更低延迟的方向发展，特别是在实时交互场景中的应用。vLLM-Omni对Kandinsky 6.0 Video视频生成模型的支持表明，多模态技术的边界正在不断扩展。vLLM-Omni 首发支持 Kandinsky 6.0 Video 视频生成模型。开源社区对Omni技术的推动不容忽视，从模型优化到教程分享，开发者生态正在快速形成。同时，Omni-IO技能的提出也引发了关于智能体原生能力的讨论，这可能是未来多模态技术的重要发展方向。Omni-IO技能：智能体原生能力。
随着技术不断成熟，Omni框架在智能家居、内容创作等领域的应用潜力正逐步释放。然而，如何在保持性能的同时降低计算资源需求，仍是Omni技术面临的主要挑战。