开源工具 DigUp 基于 EmbeddingGemma 2 实现 Mac 本地跨模态搜索
Mac 找文件别死磕 Spotlight 了，DigUp 开源可用，说一句“视频里有斑马”就能跳到那一秒，PDF 也能直接翻到页码。
#多模态
共 1620 条 · 7 天 145 条 · 30 天 619 条 · 话题观测 →
10月15日
论文10:17
研究发现全模态大模型"知道却说不出"，OmniCatalyst 提升表达 7.29%NAVER 论文发现全模态模型"看懂了却说不出来"，加一步自生成文本再推理就能提升 7.29%，方法已开源。
10月14日
视频理解模型VideoJev开源：问答速度较Thinking快100倍以上，含4B与35B版本
视频问答嫌推理慢的可以试试VideoJev，比Thinking快100倍以上，mIoU还涨6.7到10.8分，4B和35B权重都放出来了。
OpenBMB 发布 MiniCPM-V 4.7：35B MoE 多模态模型可在手机本地运行
35B 的多模态模型塞进手机只要 3GB 内存，靠 LES 技术把专家权重放闪存按需加载，速度还有 13 tokens/s，搞端侧的可以看看。
OpenDocRouter 支持 Gemini 4 Argon 等多模型 PDF 解析
LlamaIndex 出的 OpenDocRouter，一个入口换着用 Gemini 4 Argon、MinerU2.5-pro 这些模型解析 PDF，一分钟就能上手试试。
Fahd Mirza 实测 MiniCPM-V 4.7 1B：本地部署跑通 Ollama 与 llama.cpp
Fahd Mirza 用视频实测了 1B 的小模型 MiniCPM-V 4.7，带你用 Ollama 和 llama.cpp 在自己电脑上跑起来，踩坑点也讲了。
ALMEA 框架解决多模态实体对齐中的抑制与高估问题
多模态知识图谱对齐的新论文，指出现有方法把缺模态和图结构差异分开处理有漏洞，ALMEA 在 20% 监督下 MRR 涨了 5 个点以上，做 KG 融合的可以看。
苹果智能家居中枢 HomeView 支持第三方音视频应用，最多识别 6 人
苹果新出的 HomeView 不用 Face ID，靠摄像头加语音认出最多 6 个人，还能借 iPhone 投第三方应用，玩法挺特别的。
Gemini 4 Argon：24 词提示词打造把马蹄声、水波和手势变成音乐的合成器
有人用 24 个词的提示词就让 Gemini 4 Argon 做出一个合成器，马蹄声、流水、你的手都能变成音乐，提示词玩法可以抄。
OpenAI GPT-6 Astra 助力 Higgsfield，AI 视频生成时长从 1 分钟提升到 10 分钟
Higgsfield 接入 OpenAI 的 GPT-6 Astra 后，AI 视频能一口气生成 10 分钟了，还在自己 50 万订阅的 YouTube 频道上真跑起来了，连图像和语音到视频的路线也一起公布了。
MiniMax 发布 FastH3-Omni：单条提示词生成画面与声音同步的视频
MiniMax 放出了 FastH3-Omni，一条提示词直接出带同步声音的视频，不用再自己配音对轨，做短视频的可以试试。
Google 用 Gemini 4 Argon 让人形机器人看视频自学沙包游戏
Google 拿 Gemini 4 Argon 做了个有意思的实验：机器人看人玩沙包的视频，自己搭仿真训练，最后真学会了，不用手写程序。
Gemini 4 Argon 将曼哈顿照片重建为多遍油画渲染过程
Phil Schmid 测试了 Gemini 4 Argon：不是直接出图，而是写了个多遍渲染器，一笔笔画出油画版曼哈顿，思路挺有意思。
Google 发布 Gemini 4 Argon，面向 Ultra 和 Pro 订阅用户推出
Gemini 4 Argon 今天上线了，能写代码还能做 3D 物理模拟，官方用它做了个巫师象棋演示，Ultra 和 Pro 用户现在就能试。
Mercury Decide 在 OpenRouter 上线图像输入
Inception 的 Mercury Decide 在 OpenRouter 支持传图提问了，能看图打分、选选项、给概率，还有免费端点可以试。
Google 全球上线 Gemini 4 Argon，支持 1M token 输出
Google 放出了 Gemini 4 Argon，能输出 100 万 token，有人一句话让它自动抓图写代码做了个 3D 苹果博物馆，去看看效果。
Gemini 4 上手体验：首个通过 Fable/Mythos/Astra 门槛的非 OpenAI/Anthropic 模型
Mollick 抢先玩了 Gemini 4，说它写作和创意追平 OpenAI 和 Anthropic，但多智能体任务还会掉链子，评测细节挺实在。
Gemini 4 Argon 上线 OpenRouter，多项基准登顶
Google DeepMind 的 Gemini 4 Argon 上 OpenRouter 了，AutomationBench 拿了 51.3% 排第一，入门价输入 $2/M，可以去试试。
Google 发布 Gemini 4 Argon，面向 Ultra 和 Pro 订阅用户
Google 新模型 Gemini 4 Argon 上线了，写代码、做知识工作都变强，还能生成 3D 象棋游戏，Ultra 和 Pro 用户今天就能用上。
Gemini 4 Argon 提前体验：一次生成 AI 电力瓶颈交互演示
有人提前玩了 Gemini 4 Argon，让它把财报、电网排队数据和 GPU 规格汇总成一份交互幻灯片，效果挺直观，可以看看。
Google 发布 Gemini 4 Argon：API 全面上线，支持 1M token 输出
Google 放出 Gemini 4 Argon，API 和 App 都能用，写代码和长文能一次输出 1M token，Flash 系列迭代快的路子还在继续。
Gemini 4 Argon 向 Google AI Pro 和 Ultra 订阅用户推送
Google 把 Gemini 4 Argon 推给 Pro 和 Ultra 订阅用户了，全球生效，用的可以去 app 里看看有什么变化。
Google 发布 Gemini 4 Argon，面向 Pro/Ultra 订阅用户开放
Google 新模型 Gemini 4 Argon 上线了，写作和写代码都很能打，Pro/Ultra 订阅现在就能试。
10月13日
Fish Audio 推出语音 audio inpainting，改一个词无需重录
Fish Audio 出了个 audio inpainting，念错一个词改那一个词就行，不用整段重录，支持 83 种语言，Drama 3 的情感演绎听起来很自然。
Apple 发布新款 Apple TV 4K，搭载 Siri AI 与免遥控语音指令
Apple 出了新款 Apple TV 4K，299 美元，Siri AI 能让你不用遥控器直接喊话操作，11 月 13 日开卖。
MiniCPM-V 4.7 发布：35B 多模态 MoE 模型仅用 3GB 内存跑在手机上
OpenBMB 把 35B 的多模态模型塞进了 3GB 内存，手机能离线读文档、认路牌，还给了 1B 小版本和微调方法，端侧玩法直接变多了。
ScaleDown 发布 Constrained Decoding Models：1M token 多模态输入，比前沿 LLM 快 200 倍
ScaleDown 做了三个不逐字生成的专用模型，分类、抽取、摘要直接出答案，比前沿 LLM 便宜 467 倍，适合高吞吐生产场景。
网友把谷歌 EmbeddingGemma 2 改造成语音识别模型，1 小时音频 13 秒转写
有人把谷歌的 EmbeddingGemma 2 玩出了新花样，加个轻量 Reader 就变语音转文字，Mac 上 1 小时音频 13 秒搞定，思路很妙。
印尼物流公司 Lion Parcel 用 Qwen-VL-Plus 替代人工录入单据
印尼快递公司 Lion Parcel 拿 Qwen-VL-Plus 自动识别运单，不用再人工敲数据，做物流或有大量单据的可以参考。
OpenBMB 发布 MiniCPM-V 4.7，3B 激活参数可在 iPhone 上运行
OpenBMB 放出了 MiniCPM-V 4.7，3B 激活参数就能在 iPhone 上跑到 13 tokens/s，性能还能压过参数多 10 倍的模型，本地跑多模态的朋友可以试试。
Meta 发布 Muse Wonder 系列模型，主打法律、金融、健康领域任务
Meta 新出的 Muse Wonder 系列，专门处理租约、财报、健康信息这类生活里实际会碰到的专业问题，智能体和编程基准也拿到了 SOTA。
TCL 展示 X5 智能 5G CPE：峰值下行 7.01 Gbps，支持本地多智能体调度
TCL 在维也纳发布的新款 5G CPE，下行速率冲到 7Gbps，还能在本地跑多智能体调度，路由器开始卷 AI 了。
IT之家原文