17:19官方一手歸藏(guizang.ai)@op741875°前 OpenAI CTO Mira 创立的公司 Thinking Machines 发布了一款名为“交互模型”的创新 AI。该模型能原生处理音频、视频、文本等多种模态,并且实时思考、响应和行动。区别于传统的 Agent 架构将不同模型串联,它将所有模态统一在一个模型中,实现任意模态下的实时交互,用户可以随时打断、补充,AI 会持续关注用户状态并输出结果。模型由前台交互模型(每200毫秒处理输入并输出)和后台推理模型(处理复杂推理和长任务)两部分组成,最终提供实时交互和重度任务处理的能力。AI模型多模态交互模型Thinking Machines4 个信源在谈事件专题推荐理由:该模型打破了传统 AI 交互的固定对话模式,实现了真正的多模态实时交互,可能重新定义人机交互的标准。对于从事 AI 产品和交互设计的从业者而言,这是一个值得关注的技术方向。原文稍后读已读值得跟进有用关注 多模态
22:18官方账号阶跃星辰 Stepfun@Stepfun_AIStepfun AI在SaaStr周期间于San Mateo举办线下聚会,与SEAMATE共同主办。活动设有2分钟开放麦克风环节,供创始人、建设者分享项目。Stepfun AI将展示其统一API,支持文本、视觉、语音和音乐等多种模态。活动提供晚餐和免费酒吧至晚上9点。行业多模态API线下活动推荐理由:此活动展示了Stepfun AI的多模态API能力,对于AI产品和应用的开发者是一个了解统一接口服务的机会。线下交流也有助于行业社区建设。原文稍后读已读值得跟进有用关注 多模态
22:18岚叔@lufzzliz用户使用GPT image 2和Gemini 3.1 pro联合生成3D生物结构展示页面,效果惊艳。该页面可用于AI教育,作者表示将复刻该项目。展示了多模态AI在科学可视化领域的应用潜力。AI产品GPT image 2Gemini 3.1 pro3D生成推荐理由:该案例展示了GPT image 2与Gemini 3.1 pro在3D生物结构生成上的协同能力,为AI教育提供了低成本、高视觉质量的实践路径,值得关注。原文稍后读已读值得跟进有用关注 GPT image 2
22:18官方账号阶跃星辰 Stepfun@Stepfun_AIGoogle I/O大会周期间,SEAMATE与Linkloud将于5月16日在Sunnyvale举办Front Row meetup,预计吸引约500名创始人和开发者参与。活动聚焦智能体、多模态及AI原生基础设施等前沿方向。Stepfun AI团队将参与'智能体实际使用的应用'小组讨论,与Principle和Google同台。本次活动为纯开发者闭门交流,旨在促进AI Builder社区的深度碰撞。行业Google I/O智能体多模态推荐理由:反映了AI行业从模型训练转向应用构建的趋势,智能体与多模态成为开发者核心关注点。对于关注AI原生产品和工具链的从业者而言,该活动是观察前沿方向与社区动态的重要窗口。原文稍后读已读值得跟进有用关注 Google I/O
22:17官方账号百度 AI Baidu@Baidu_Inc百度用其AI图像生成模型ERNIE-Image,将母亲节经典唠叨翻译成“真正含义”,并通过趣味图片展示。例如,“有空打电话”可能意味着“想你了”。该活动利用AI技术进行创意表达,旨在传递情感而非仅仅文字表面意思。百度借此展示其多模态AI能力,同时庆祝母亲节。AI产品图像生成ERNIE-Image百度推荐理由:此为百度营销活动,展示ERNIE-Image的创意应用。对行业而言,表明AI图像生成正从技术展示转向情感化、场景化的用户体验设计。原文稍后读已读值得跟进有用关注 图像生成
22:16官方账号Google AI@GoogleAI在Google I/O大会前11天,Google AI本周密集发布6项更新:Google Health应用集成Gemini健康教练,结合可穿戴设备、健身应用和医疗记录提供主动健康指导;Gemma 4模型引入多令牌预测(MTP)机制,工作流速度提升达3倍;NotebookLM新增自动来源组织和可定制思维导图;Gemini API文件搜索工具支持多模态、自定义元数据和页面引用;Gemini API新增Webhook推送通知功能替代轮询;Nano Banana、Veo和Google Photos Remix等AI功能上线Google TV。行业Gemini谷歌I/O多模态推荐理由:此次更新覆盖健康、编程、搜索、文档协作和智能电视等多个场景,显示Google正在将AI能力系统化整合至其生态产品矩阵,对开发者生态和终端用户体验均产生实质影响。原文稍后读已读值得跟进有用关注 Gemini
22:16AK@_akhaliqApple 推出了新的技术 TIDE,其核心理念是让模型中的每一层都了解 token 的上下文信息。这不同于传统 transformer 仅顶层或特定层感知全局上下文,TIDE 通过在每一层引入上下文信息,可能提升模型对序列的理解和生成能力。相关论文已发布,提供了详细的技术细节。这项研究对改进大型语言模型和多模态模型的上下文利用有潜在意义,值得从业者关注。论文推理模型多模态Apple推荐理由:TIDE 是对 transformer 架构的改进,可能提高模型层间的信息流动效率,尤其在长序列或复杂上下文任务中,但尚需更多评估验证其实际收益。原文稍后读已读值得跟进有用关注 推理模型
22:15AK@_akhaliqMiniCPM-o 4.5 是新一代端侧多模态大模型,支持实时全双工对话,即同时进行语音输入和输出。该模型在保持高效推理的同时,实现了文本、图像、语音等多种模态的协同理解与生成。论文已公开,展示了其在边缘设备上实现接近人类交互体验的潜力。这一进展对于智能助理、可穿戴设备等场景具有重要意义。AI模型多模态语音交互端侧模型推荐理由:MiniCPM-o 4.5 在端侧实现全双工多模态交互,降低了实时对话AI的部署门槛,为移动设备和物联网应用提供了新的技术路径。原文稍后读已读值得跟进有用关注 多模态
11:43官方账号arXiv cs.LG(学术论文)STARFlow2提出了一种基于自回归归一化流(TarFlow)的统一多模态生成框架,用于处理交错的文本-图像序列。它通过在Pretzel架构中垂直交错预训练VLM流和TarFlow流,并采用深度-浅层流设计和统一的FAE潜空间,实现了文本和视觉输出的缓存友好型生成。实验表明,STARFlow2在图像生成和多模态理解基准上表现强劲,证明了自回归流可以替代扩散模型作为统一多模态建模的基础。这项工作解决了因果文本生成和迭代视觉去噪之间的结构不匹配问题,为更自然的统一生成提供了新范式。论文多模态自回归流图像生成推荐理由:STARFlow2展示了自回归归一化流在多模态统一生成中的潜力,为替代基于扩散的图像生成方法提供了新思路,对多模态模型的设计和效率优化有参考价值。原文稍后读已读值得跟进有用关注 多模态