AITOPAI热报

多模态

共 849 条相关 AI 资讯 · 查看话题观测
6月4日
01:54
01:28
01:28官方账号SiliconFlowAI@siliconflowai
83°
MiniMax 最新开源模型 M3 已在 SiliconFlow 平台上线，首周提供 50% 折扣。M3 是首个同时具备编码与智能体能力、1M 上下文窗口和原生多模态的开源模型。在 SWE-Bench Pro 基准测试中，M3 的编码能力超越了 GPT-5.5 和 Gemini 3.1 Pro。其 1M 上下文窗口通过 MiniMax 稀疏注意力技术实现，原生多模态支持图像、视频和计算机使用。定价方面，缓存/输入/输出分别为每百万 token 0.06/0.30/1.20 美元，折扣后性价比突出。
AI模型MiniMaxM3开源模型
推荐理由：M3 把编码、长上下文和多模态三合一开源了，做 AI 应用开发的团队可以直接在 SiliconFlow 上低成本试用，编码能力还超过了 GPT-5.5，值得上手体验。
原文
01:18
00:31
00:31官方账号阶跃星辰 Stepfun@Stepfun_AI
Step 3.7 Flash 模型专为真实世界的智能体编程任务设计，不仅追求代码生成速度，更注重在复杂输出中保持逻辑、视觉和执行的一致性。该模型在演示中展示了其在多步骤、多模态任务中的连贯性，适合需要高可靠性的编程场景。开发者 @atomic_chat_hq 的创意测试进一步验证了其能力。
AI模型智能体编程助手推理模型
推荐理由：做智能体编程的开发者终于有了一个兼顾速度和一致性的模型——Step 3.7 Flash 在复杂任务中保持逻辑连贯，值得在真实项目中试试。
原文
6月3日
10:17
10:17官方账号arXiv cs.AI@Senjie Jin, Peixin Wang, Boyang Liu, Xiaoran Fan, Shuo Li, Zhiheng Xi, Jiazheng Zhang, Yuhao Zhou, Tao Gui, Qi Zhang, Xuanjing Huang
精选
研究发现，在视觉推理任务中，仅依赖令牌级熵进行强化学习（RLVR）会失效，因为视觉敏感但熵低的令牌被忽略。现有多模态RL方法要么缺乏系统视觉度量，要么忽视熵主要驱动语义探索。为此，研究者提出VEPO框架，通过视觉敏感性与令牌熵的乘法耦合，将梯度信用分配给同时具备视觉基础和高信息量的令牌。实验表明，VEPO在7B和3B规模上分别比熵基线提升2.28和3.15个百分点，消融实验验证了方法的有效性。
论文强化学习视觉推理令牌选择
推荐理由：视觉推理强化学习一直缺乏有效的信用分配机制，VEPO解决了这个痛点——做多模态RL的团队可以直接参考这个框架，在视觉-语义交叉场景中提升模型表现。
原文
04:40
04:40官方账号Together AI@togethercompute
76°
MiniMax-M3 是一款结合了 1M 上下文窗口、原生多模态能力和 MiniMax 稀疏注意力机制的新模型。Together 的推理和内核团队通过 KV-block-major 稀疏注意力、分页 MSA 解码、优化索引评分以及 GPU 工作前的多模态预处理，将常见智能体流量下的吞吐量提升了 81-125%。该模型在长上下文和多模态任务上表现出色，适合需要处理大量信息和多种数据类型的应用场景。
AI模型MiniMax-M3稀疏注意力多模态
事件专题
推荐理由：做长上下文和多模态应用的团队可以关注——MiniMax-M3 的稀疏注意力优化让吞吐量提升显著，直接降低推理成本，值得一试。
原文
01:11
6月2日
17:15
17:15官方一手marktechpost@Michal Sutter
83°
阿里Qwen团队在百炼平台推出Qwen3.7-Plus，这是一个多模态智能体模型。它不仅能理解图像和视频，还新增了自主编程、工具调用和深度推理能力。该模型支持视觉理解、复杂推理和自动化迭代，可应用于更广泛的AI任务场景。这标志着阿里在构建全能型AI智能体方面迈出重要一步。
AI模型Qwen3.7-Plus多模态智能体
事件专题
推荐理由：Qwen3.7-Plus把视觉、推理和工具调用整合到一个模型里，做多模态应用的开发者可以直接在百炼平台体验，省去拼接多个模型的麻烦。
原文
11:12
11:12官方账号arXiv cs.AI@Stefano Samele, Eugenio Lomurno, Teodora Jovanovic, Sanjay Shivakumar Manohar, Alberto Crivellaro, Matteo Matteucci
工业异常检测领域近年引入多模态视觉语言模型，声称可通过文本指令实现零样本或少样本检测。但现有评估方法沿用单模态基准，无法验证模型是否真正依赖文本条件。本文提出TGAD结构化基准，通过三个递进场景测试：MVTec AD上的提示敏感性测试、组件级标注扩展、以及新构建的组装面板数据集APD。测试发现，三种代表性模型（生成式大视觉语言模型、无训练判别式、嵌入自适应判别式）均仅表面响应文本指令：移除物体名词后生成模型I-AUROC从97.4降至82.6；组件指令无法约束决策；在APD上图像级判别甚至低于随机水平（最低31.5）。结果表明当前多模态异常检测系统的文本引导能力被高估，需要此类基准才能实现工业部署所需的可靠语言控制。
论文异常检测多模态基准测试
推荐理由：做工业视觉检测的团队会发现，当前号称支持文本引导的模型其实并不听指令——TGAD基准直接戳破了这个泡沫，建议点开看看你的模型是否真的被语言控制。
原文
11:12
11:12官方账号arXiv cs.AI@Xinyu Che, Junqi Xiong, Yunfei Ge, Xinping Lei, Shihao Li, Hang Yan, Han Li, Yuanxing Zhang, Zhiqi Bai, Jinhua Hao, Ming Sun, Han Li, Jiaheng Liu
网络上有大量多模态、异构、嘈杂的程序性知识，但直接用于智能体执行长周期任务效果不佳。研究者提出 guide-to-skill 学习问题，并发布首个基准 MMG2Skill-Bench。他们设计的闭环框架 MMG2Skill 能将人类指南编译为可编辑技能，在执行时条件化固定视觉语言模型，并通过轨迹级根因反馈持续修正技能。在 GUI 控制、开放游戏和策略卡牌等六个 VLM 骨干上，该方法比基线提升 12.8 到 25.3 个百分点。消融实验表明，直接提示原始指南反而会降低性能，而结构化技能构建和轨迹驱动修正是关键。
论文智能体技能蒸馏多模态
推荐理由：做智能体长任务规划的团队终于有了把网络教程变成可执行技能的方案——MMG2Skill 直接解决了指南与技能之间的鸿沟，做 GUI 自动化或游戏 AI 的开发者可以试试这个闭环框架。
原文
10:58
10:17
09:51
09:32
08:23
08:23Guillermo Rauch@rauchg
76°
MiniMax M3 在 Next.js 智能体评测中成为领先的开源模型，性能仅次于 Opus 和 GPT-5，但成本低 10 倍。这是 MiniMax 首个支持多模态输入的长上下文模型。Vercel 宣布 M3 已上线 AI Gateway，并提供一周 50% 折扣。开发者可以以极低成本获得接近顶级模型的智能体能力。
AI模型MiniMax M3开源模型智能体
事件专题
推荐理由：做 Next.js 智能体开发的团队终于有了高性价比的开源选择——M3 性能接近 Opus 但成本仅 1/10，Vercel 用户现在就能用上，建议立刻试试。
原文
08:14
08:14岚叔@lufzzliz
Qwen3.7-Plus 是通义千问最新推出的多模态模型，延续了 Plus 系列的高性价比特点。该模型不仅支持屏幕读取、网页/移动端/桌面端操作，还能编写代码、调用工具和处理工作流。当前行业趋势正朝向多模态 Agent 发展，Qwen3.7-Plus 在长链路稳定性、工具调用失败恢复以及 GUI 操作权限与审计边界方面有所加强。该模型适合需要构建复杂自动化任务的开发者和团队。
AI模型Qwen3.7-Plus多模态Agent
事件专题
推荐理由：Qwen3.7-Plus 把多模态 Agent 的实用门槛又拉低了一截，做自动化工作流或 GUI 操作的开发者可以直接关注，性价比和功能覆盖都很能打。
原文
06:41
06:41IT之家（博客/媒体）
精选
阿里千问大模型推出 Qwen3.7-Plus，定位为多模态交互混合智能体，在保留文本、编码、工具使用等能力基础上，强化了视觉理解、视觉推理和跨模态任务处理。该模型支持图像、视频、屏幕、网页和文本输入，可在 GUI、CLI 和工具环境中完成复杂软件与办公流程。在 Vision Arena 评测中，阿里凭借该模型进入全球前 5、中国第 1，多模态测试在 BabyVision、MathVision 等基准上提升明显。模型已通过阿里云百炼和 Qwen Studio 提供服务。
AI模型Qwen3.7-Plus多模态智能体
事件专题
推荐理由：Qwen3.7-Plus 把视觉与语言统一到智能体基座，做多模态应用或办公自动化的团队可以直接在百炼上试，能省掉不少模型拼接的麻烦。
原文
04:47
04:47官方一手marktechpost@Asif Razzaq
78°
MiniMax 正式发布新一代大模型 MiniMax M3，采用自研的 MiniMax Sparse Attention（MSA）架构，支持高达 100 万 token 的超长上下文窗口。该模型原生支持图像、视频理解以及计算机使用（computer use）能力，并具备智能体编程（agentic coding）功能。MSA 架构通过稀疏注意力机制显著降低长序列计算成本，使得处理百万级 token 成为可能。这标志着国产大模型在长上下文和多模态融合方面迈出了重要一步，为复杂文档分析、视频理解和自动化编程等场景提供了新的基础设施。
AI模型MiniMaxM3MSA架构
推荐理由：MiniMax M3 的 1M 上下文和原生多模态能力直接解决了长文档分析和视频理解的痛点，做 RAG 应用或自动化编程的团队值得关注其 agentic coding 特性。
原文
01:32
6月1日
21:50
19:05
19:05AI Will@FinanceYF5
72°
Greg Isenberg 分享了基于 GPT Realtime 2.0 的 17 个创业想法，这些想法只有在实时语音模型支持下才能实现。涵盖实时合同谈判、语音交易终端、多语言同传、医疗问诊、现场服务调度、编程助手、拍卖代理、律师证词准备、播客研究、销售教练、房产评估、智能婴儿监护等场景。核心特点是模型能在对话中并行查询多个数据源、理解专业术语、支持 128K 上下文，并可根据任务复杂度调整推理深度。这些想法展示了实时语音 AI 如何将传统需要多步骤、多工具的任务压缩到一次对话中完成。
AI产品GPT Realtime 2.0实时语音创业点子
事件专题
推荐理由：实时语音 AI 终于有了具体可落地的商业场景，做创业或产品经理的可以直接从中找灵感，17 个方向覆盖了从法律到医疗的多个垂直领域，值得收藏研究。
原文
18:53
18:53岚叔@lufzzliz
精选76°
MiniMax 发布新一代旗舰模型 M3，面向 coding agent、长上下文和多模态任务。M3 支持 1M 上下文，核心技术创新是 MiniMax Sparse Attention (MSA)，通过稀疏注意力将 KV 分块并精确选取相关块，大幅降低长上下文计算成本。在 1M 上下文下，每 token 计算量仅为上一代的 1/20，prefill 提速 9 倍以上，decode 提速 15 倍以上。M3 支持文本、图片、视频输入，将长上下文、工具调用、多模态理解和持续执行能力整合，明确押注 agentic coding 场景。
AI模型MiniMax-M3稀疏注意力长上下文
事件专题
推荐理由：M3 的稀疏注意力解决了长上下文推理的成本痛点，做 coding agent 和自动化任务的开发者可以直接关注——1M 上下文下计算量骤降 95%，意味着更长的任务链也能跑得动。
原文
15:16
15:16官方一手pandaily@contact@pandaily.com (Pandaily)
精选83°
MiniMax 发布了其旗舰模型 M3，声称这是国内首个将前沿编码、智能体能力、100 万 token 上下文窗口和原生多模态处理整合在单一架构中的 AI 模型。M3 模型在多项基准测试中表现出色，尤其在长文本理解和复杂任务执行方面。该模型支持同时处理文本、图像、音频等多种输入，并具备强大的代码生成和工具调用能力。MiniMax 表示 M3 旨在为开发者和企业提供更高效、更全面的 AI 解决方案。
AI模型MiniMaxM3多模态
推荐理由：MiniMax M3 将 1M 上下文、多模态和智能体能力打包进一个模型，做长文本处理或多模态应用的开发者可以直接用它替代多个模型组合，省心又高效。
原文
14:50
14:50官方一手歸藏(guizang.ai)@op7418
精选76°
MiniMax 正式发布大版本模型升级 MiniMax M3，核心亮点包括标配 1M 超长上下文、采用新的 MSA（MoE with Segment-wise Attention）稀疏注意力架构，以及从训练起就融合了文本、图片、视频和桌面操作的原生多模态能力。MSA 架构在 100 万上下文下每 token 计算量仅为上一代的约 1/20，大幅提升可落地性。API 价格同步更新，小于 512k 的 API 限时五折（7 天）。模型权重和技术报告将在约 10 天后开源。
AI模型MiniMax M3长上下文稀疏注意力
事件专题
推荐理由：MiniMax M3 把长上下文、稀疏注意力和多模态融合做到了一个模型里，而且计算效率大幅提升，做 Agent 开发、多模态应用或长文档处理的团队可以直接用 API 试试，价格也很友好。
原文
11:17
11:17IT之家（博客/媒体）
上海市人民政府办公厅印发《上海市服务业发展“十五五”规划》，明确提出支持多模态智能体开发与应用，推动智能客服、智能运营等工具规模化。规划还强调有序推进智能驾驶在共享出行、物流运输等多场景应用，并聚焦AI软件技术、具身智能、智算云服务等领域。该规划旨在到2030年服务业增加值达6万亿元，打造全球服务资源配置枢纽。对AI从业者和企业而言，这意味着上海将提供政策支持和场景落地机会。
行业智能体多模态智能驾驶
推荐理由：上海明确将多模态智能体和智能驾驶列为重点方向，做AI应用和自动驾驶的团队可以提前布局政策红利场景。
原文
11:12
11:12OpenRouter@OpenRouterAI
精选76°
MiniMax 发布了 M3 模型，这是首个同时具备编码、智能体与多模态能力的开源权重模型。在 SWE-Bench Pro 上达到 59.0%，Terminal Bench 2.1 上 66.0%，并支持 1M 上下文窗口。模型原生多模态，从零开始训练，权重和技术报告将在约 10 天后公开。API 已上线 platform.minimax.io，并提供 MiniMax Code 工具。
AI模型MiniMaxM3开源模型
推荐理由：MiniMax M3 把编码、智能体和多模态三个前沿能力打包进一个开源模型，做 AI 应用开发或智能体研究的团队可以直接用 API 体验，值得关注即将开源的权重。
原文
11:11
11:11OpenRouter@OpenRouterAI
精选76°
MiniMax-M3 是一款前沿开源权重模型，已在 OpenRouter 平台上线。它集成了 100 万 token 的超长上下文窗口、顶尖的编程与智能体能力，以及原生支持图像和视频的多模态处理。该模型在编码和智能体任务上表现卓越，同时保持了开源特性，为开发者和研究者提供了强大的工具。其 1M token 上下文窗口尤其适合处理长文档、复杂代码库和多模态数据融合场景。
AI模型MiniMax-M3开源模型长上下文
事件专题
推荐理由：MiniMax-M3 把长上下文、强编码和多模态塞进一个开源模型里，做复杂智能体或长文档处理的团队可以直接在 OpenRouter 上试，省去自己部署的麻烦。
原文
11:07
11:07lmarena.ai@lmarena_ai
精选76°
MiniMax 发布开源权重模型 M3，首次在单一模型中融合编码、智能体与多模态三大前沿能力。在 SWE-Bench Pro 上达到 59.0%，Terminal Bench 2.1 为 66.0%，并支持 1M 上下文长度。模型已上线 Arena 的文本、视觉、文档和代码竞技场，用户可投票评测。权重和技术报告将在约 10 天后公开。
AI模型MiniMaxM3开源模型
推荐理由：MiniMax M3 把编码、智能体和多模态塞进一个开源模型，做 AI 应用和 Agent 开发的团队可以直接在 Arena 上测效果，省去自己搭环境的时间。
原文
10:24
10:24官方账号arXiv cs.LG@Dylan Steiner, Gustavo Arango-Argoty, Gerald Sun, Etai Jacob
多模态肿瘤模型能做出准确预测，但无法判断其是否学到跨模态共享的生物学、单一模态的生物学，还是虚假相关性。研究者提出DECAT，一个模型无关的后验评估框架，通过五个零假设参考指标和规则决策，将多模态表征分为四种诊断场景。在合成数据（2500+训练表征）和真实TCGA数据（8979名患者）上验证，发现CLIP等纠缠模型在检测共享生物学上近乎完美，但在大多数不存在共享生物学的情况下错误声称存在，且错误率随混杂强度增加。DECAT无需知道具体混杂因素，就能检测出AUROC无法发现的混杂。
论文多模态医学AI评估框架
推荐理由：做多模态医学AI的团队终于有了判断模型是否学到真实生物学的工具——DECAT能揪出被AUROC掩盖的虚假关联，建议做肿瘤多模态研究的开发者点开看看。
原文
10:12
10:12官方账号arXiv cs.LG@Utsav Dutta, Gerardo Pastrana, Sina Khoshfetrat Pakazad, Henrik Ohlsson
CHARM是一种基于Transformer的通道感知表示模型，通过将通道级文本描述集成到编码器中，实现了对异构多变量时间序列的通用表示学习。该模型采用联合嵌入预测架构（JEPA）训练，并引入新损失函数以促进信息丰富且时间稳定的嵌入，在潜在空间预测中增强对传感器噪声的鲁棒性。在异常检测、分类和短期/长期预测任务中，仅使用线性探针即可达到强性能。性能提升主要归功于JEPA目标和条件架构，文本描述作为通道标识符支持跨数据集泛化。
论文时间序列多模态JEPA
推荐理由：CHARM解决了多变量时间序列表示学习的通用性问题，做传感器数据分析、工业监控或金融时序预测的团队可以直接用线性探针获得强性能，值得关注其跨数据集泛化能力。
原文
5月30日
12:53
05:39
03:36
00:23
5月29日
23:50
12:15
12:15OpenRouter@OpenRouterAI
精选76°
StepFun 发布了 Step 3.7 Flash 模型，这是一款面向智能体、编码、搜索和多模态工作流的高效模型。该模型采用 198B 稀疏 MoE 架构，仅激活约 11B 参数，支持 256K 上下文和三种推理级别，推理速度达 400 TPS。在 ClawEval-1.1、SimpleVQA Search 和 SWE-PRO 等基准测试中表现领先，并支持视觉理解、工具调用和本地运行。模型权重以 Apache 2.0 开源，可在 Mac Studio、DGX Spark 等设备上运行。
AI模型智能体推理模型开源/仓库
推荐理由：Step 3.7 Flash 解决了智能体场景中速度与可靠性的平衡问题，做智能体开发、编码自动化和多模态应用的团队可以直接用开源权重部署，值得一试。
原文
12:15
12:15OpenRouter@OpenRouterAI
精选
阶跃星辰的 Step 3.7 Flash 模型已在 OpenRouter 平台上线。该模型是一个多模态（图像/视频/文本）MoE 架构，总参数量达 196B，但推理时仅激活 11B 参数，效率极高。模型针对编程、智能体工作流和结构化输出进行了专门调优，并支持可选的推理级别，用户可根据需求在速度、成本和深度之间灵活权衡。
AI模型阶跃星辰Step 3.7 FlashMoE
事件专题
推荐理由：做编程和智能体开发的团队终于有了一个高效的多模态 MoE 选择——196B 参数只激活 11B，成本可控且支持灵活推理级别，建议在 OpenRouter 上直接试。
原文
09:07
09:07IT之家（博客/媒体）
精选76°
阶跃星辰今日发布并开源 Step 3.7 Flash，这是一款面向 Agent 生产化阶段的新一代 Flash 模型。该模型采用稀疏 MoE 架构，总参数 196B，激活参数 11B，最高生成速度达 400 Tokens/s，适合高频、多轮、低等待的 Agent 应用。Step 3.7 Flash 具备原生多模态理解与执行、联网与视觉搜索增强、高可靠工具调用与编排等能力，并针对主流 Agent 框架和 MCP 协议进行了兼容优化。开源链接包括 Model Page、GitHub、Huggingface 和 Modelscope，国内海外平台均提供 API 接入。
AI模型阶跃星辰Step 3.7 Flash开源/仓库
事件专题
推荐理由：做 Agent 开发的团队终于有了一个原生优化、速度极快的开源模型——Step 3.7 Flash 直接兼容 Claude Code、MCP 等主流框架，接入成本低，值得立刻试跑。
原文
09:06
09:06官方账号NVIDIA AI@NVIDIAAI
精选76°
NVIDIA 宣布推出 Step 3.7 Flash 模型，这是一个 198B 参数的混合专家（MoE）模型，但仅需 11B 活跃参数即可运行，大幅降低推理成本。该模型支持 256K 上下文长度，并原生支持图像和视频输入。即日起可在 build.nvidia.com 上通过 GPU 加速端点使用，也可通过 NVIDIA NIM 微服务部署，并支持使用 NeMo 框架进行微调。这一发布标志着 NVIDIA 在高效大模型领域的重要进展，尤其适合需要多模态理解和长上下文处理的应用场景。
AI模型Step 3.7 FlashNVIDIAMoE
事件专题
推荐理由：198B 参数但仅 11B 活跃，推理效率极高，做多模态应用或长文档处理的团队可以直接在 NVIDIA 平台试用，省成本又省心。
原文
5月28日
23:48