AITOPAI热报

实时交互

共 28 条相关 AI 资讯
9月1日
23:15
23:15官方一手歸藏(guizang.ai)@op7418
精选
Runway发布了Solaris模型，号称首个界面世界模型。该模型能逐帧实时生成交互界面，支持用户点击和拖动操作。用户可以拖动改变物体大小和位置，点击弹出UI选项变换样式。目前仍面临延迟、成本和一致性问题。
AI模型RunwaySolaris界面世界模型
推荐理由：Runway的Solaris模型能实时生成可交互的界面视频，拖动树木、壁画等元素会实时变化，开创了视频模型新应用。
原文
15:13
8月27日
10:24
10:24官方账号arXiv cs.AI@Zhifei Xie, Jiaqi Lang, Ze An, Yifan Zhao, Dongchao Yang, Kai Li, Ziyang Ma, Mingbao Lin, Chunyan Miao, Shuicheng Yan
VoiceMem是一种简单的记忆架构，包含并行信息左脑、情感右脑和流式内存I/O机制。实验和实际部署显示，VoiceMem在准确性、情感与个性化以及实时与低成本方面具有优势。左脑在top-5检索中比Mem0等经典系统高出近30分；右脑在三个角色基准测试中达到最先进的性能，比之前最佳系统提高了4.29分；VoiceMem在134毫秒内完成检索，在标准VAD延迟内，不增加额外的对话延迟，同时保持高准确性和低成本。
论文VoiceMem流式双脑记忆系统实时交互
推荐理由：VoiceMem提供了实时、个性化、情感感知的语音交互的实用记忆基础，在准确性、情感与个性化方面优于Mem0等经典系统，且检索速度快，成本较低，值得一看。
原文
8月10日
13:55
7月25日
13:11
13:11量子位@henry
Vivix推出首个实时互动模型，采用统一流式架构。单卡视频生成速度突破10000 video tokens/s。该模型打通实时多模态生成全链路，支持视频、图像、音频等模态的实时交互。相比传统非实时方案，延迟降低至毫秒级。
AI模型Vivix视频生成多模态
推荐理由：Vivix这个新模型单卡就能每秒生成上万视频token，做实时互动视频、多模态聊天特别带劲，比之前那些慢吞吞的方案强多了。
原文
7月24日
02:50
02:50OpenRouter@OpenRouterAI
OpenRouter 上线了微软的 MAI-Voice-2-Flash 模型，相比前代 MAI-Voice-2 推理速度提升2倍。该模型支持15种语言，保持自然韵律和声学质量，并提供细粒度语调控制。专为响应式语音助手和实时交互场景设计。
AI模型MAI-Voice-2-FlashOpenRouter微软
推荐理由：需要更快更自然的语音合成？微软新模型速度快两倍，15种语言随意切换，适合搭实时语音Agent。
原文
7月19日
10:54
10:54IT之家（博客/媒体）
72°
阿里巴巴发布 HappyOyster 1.0（快乐生蚝），已登陆阿里云百炼面向企业和开发者开启灰测。该模型提供世界探索（Adventure）与实时导演（Directing）两种模式。世界探索模式支持输入一句话或一张图，生成可实时探索和交互的开放世界，体验时长 1 分钟以上且音画同出。实时导演模式允许用户用文字指令操控镜头、调度角色、改变剧情走向，支持暂停、改写、回溯。HappyOyster 1.0 提供 Android/iOS/Web 三端 SDK，开发者可通过 Open API 管理世界，客户端 SDK 封装 RTC 连接和视频渲染。
AI模型HappyOyster阿里巴巴多模态
推荐理由：阿里刚发的 HappyOyster 1.0，能根据一句话或一张图生成实时可探索的 3D 世界，还能像导演一样用文字操控剧情，支持 1 分钟以上互动，挺有新意的。
原文
7月15日
08:41
08:41berryxia@berryxia
精选72°
OpenMOSS 发布 MOSS-VL-Realtime，一个 11B 参数的多模态模型，支持实时视频流交互，可边接收视频边生成回复。采用 Cross-Attention 架构和 XRoPE 位置编码，支持 256K 上下文窗口，兼容文本、单图/多图、视频及图文交错输入。在流式视频理解基准上达到开源模型领先水平，主动预警和及时响应能力突出。同时开源 MOSS-VL-0708 Instruct，在细粒度感知和长视频理解任务上有明显提升。所有模型以 Apache-2.0 协议开源，支持本地部署和实时推理。
AI模型OpenMOSSMOSS-VL-Realtime多模态
推荐理由：OpenMOSS 发了能边看视频边聊天的实时多模态模型，11B 参数开源可部署，适合做监控、直播等持续视频理解应用。
原文
7月14日
12:42
7月9日
14:55
14:55IT之家（博客/媒体）
精选
蚂蚁灵波开源了全新实时交互世界模型LingBot-World 2.0（14B参数），支持720p/60fps高清画面，可实现小时级不间断生成且画质不衰减。该模型支持战斗、跳跃、滑翔等丰富动作，以及文本驱动的事件注入，内置Pilot Agent和Director Agent机制，还支持多人同时探索。开源版本采用非商用开源协议，已联合Reactor和灵光APP提供在线体验。该模型可应用于游戏开发、交互式创作、自动驾驶仿真和具身智能训练。
AI模型LingBot-World 2.0蚂蚁灵波世界模型
事件专题
推荐理由：蚂蚁灵波开源的世界模型能让你实时操控高清场景，战斗跳伞滑翔，多人一起玩，连续跑一小时不崩，比传统模型强很多。
原文
6月30日
01:01
6月18日
00:41
6月17日
23:31
23:31官方账号阿里云 Alibaba Cloud@alibaba_cloud
阿里Token Hub业务集团升级了HappyOyster 1.0，推出冒险（Adventure）与导演（Directing）两种新模式。新版本支持更丰富的环境交互、扩展玩家控制以及可回溯的剧情线，用于游戏、互动剧、直播和文旅场景。该模型由阿里云旗下ATH团队开发，旨在提升沉浸式体验。
AI模型HappyOysterAlibaba实时交互
推荐理由：阿里新出的HappyOyster 1.0，能让你在游戏和互动剧里回溯剧情、控制场景，比之前版本多了两种玩法模式。
原文
23:23
23:23IT之家（博客/媒体）
阿里云6月17日发布HappyOyster 1.0（快乐生蚝1.0），支持一句话生成可实时交互的数字世界。该产品基于原生多模态架构，能推演物理因果链并保持人物与环境长程一致性。不同于传统“写prompt等渲染”的流程，用户可实时输入指令，画面即时响应。目前官网开放“实时导演”和“世界探索”两种玩法，支持虚拟男友互动、短剧剧情改写、开放世界移动等功能。2025年4月16日起开放内测，至7月17日官网可领取体验积分。
AI产品HappyOyster阿里云快乐生蚝
推荐理由：阿里云搞了个好玩的：一句话就能生成能边玩边改的动态世界，像游戏一样探索，还能和虚拟男友实时互动，快去体验。
原文
00:59
6月12日
12:44
12:44官方账号John Schulman@johnschulman2
精选
Thinky 团队分享了全双工多模态模型的研究成果，该模型支持实时、自然的交互，同时不牺牲智能水平。创始人 John Schulman 指出，人机协作能力在 AI 领域常被低估，因为其评估难度高于智能或自主性。他们认为未来每个 AI 系统都将以交互模型作为面向用户的外层，持续了解用户意图并保持信息同步。这项技术有望推动 AI 从单向输出转向双向对话式协作。
AI模型全双工多模态模型实时交互
推荐理由：全双工交互解决了 AI 对话中“你说我听”的延迟感，做实时语音/视频助手或协作工具的团队可以直接参考——Thinky 把自然交互和智能水平平衡好了。
原文
12:33
12:33官方账号Mira Murati (TML)@miramurati
Mira Murati 在X上发文强调，协作AI的核心在于实时交互，机器与人需跨所有模态协同工作。她指出解决这一挑战需要社区共同努力，并邀请大家加入。这反映了AI发展从单机智能向人机协作生态的转变，强调多模态实时交互的重要性。
行业协作AI实时交互多模态
推荐理由：关注人机协作未来的开发者，这条信息点明了AI的下一个关键方向——实时多模态交互，值得思考如何参与其中。
原文
12:30
12:30官方账号Mira Murati (TML)@miramurati
精选
OpenAI 宣布正在开发一种全新的交互模型，该模型从零开始训练，原生支持实时交互，而非像传统模型那样将实时功能附加到回合制模型上。这意味着模型可以更自然地处理对话中的打断、停顿和同时发言，提升交互流畅度。这一方向可能改变语音助手、客服机器人等实时对话场景的体验。目前该工作仍处于研究阶段，具体发布时间未定。
AI模型实时交互OpenAI语音助手
事件专题
推荐理由：做语音交互或实时对话产品的团队值得关注——原生实时模型能解决当前 AI 对话中“等说完才能回应”的痛点，直接提升用户体验。
原文
6月8日
14:48
14:48AI Will@FinanceYF5
76°
前 OpenAI CTO Mira Murati 在 Bloomberg Tech Live 上指出，当前 AI 模型是回合制交互——用户说完后模型才思考，思考期间对外界“又聋又盲”。她认为未来人机协作需要时间基交互，模型能持续接收音频、文本、视频并实时输出，捕捉打断、同时说话等细微信号，实现高带宽互动。这一观点挑战了现有对话式 AI 的设计范式，强调更自然、更丰富的人机协作体验。
AI产品人机协作实时交互Mira Murati
事件专题
推荐理由：Mira Murati 点出了当前 AI 交互的根本局限——思考时“失聪失明”，做对话产品、语音助手或实时协作工具的团队，看完会重新思考产品架构。
原文
6月6日
19:15
19:15官方账号Decoder@Jonathan Kemper
78°
一款名为 Audio Interaction 的新型开源语音模型发布，它能够持续监听音频流，并每 0.4 秒决定是否说话或保持沉默，无需等待录音结束。该模型支持翻译、转录、聊天以及识别日常噪音（如咳嗽），实现了真正的实时交互。与 GPT-4o 或 Qwen3.5-Omni 不同，它在一个流中处理所有任务。代码、模型权重和下载说明已在 GitHub 上以 Apache 2.0 开源许可证发布，训练数据也将随后提供。
AI模型开源/仓库语音模型实时交互
推荐理由：这款模型解决了实时语音交互中“等待录音结束”的痛点，做语音助手或实时翻译的开发者可以直接在 GitHub 上试玩，体验每 0.4 秒的决策能力。
原文
6月5日
06:43
05:21
6月2日
10:17
5月22日
08:05
5月21日
08:00
5月18日
02:34
5月13日
09:11
5月12日
18:00