#多模态
Mistral新出的OCR 4能自己部署,支持170种语言,还带边界框和置信度分数,识别效果领先,做文档处理很合适。
字节新出的豆包Seed 2.1 Pro和Turbo,专门优化编程、智能体和多模态任务,Pro适合高难度场景,Turbo便宜且效率高,很适合接项目用。
Google 上线了 Interactions API,一个 API 就能调用 Gemini 模型和智能体,还有沙箱、图像音乐生成,异步运行很简单。
生数 Vidu Q3 上线华为云,能一键文/图生视频,支持 16 秒 1080P 和 4K,还有专为剧集设计的镜头叙事能力,做短视频或专业视频都合适。
京东开源了JoyAI-VL-Interaction,能实时看视频主动说话,安防、直播都能用,盲评胜率比豆包和Gemini高一大截。
字节跳动Seed搞了个SpatialTree框架,专门提升多模态模型的空间推理能力,还被CVPR 2026接受了,值得一看。
GLM 5.2 纯文本模型竟然能设计网站,还打败了 Fable 5?搭配 Browser Use v2 多模态 QA 代理,成本不到 0.75 美元,太会玩了。
苹果给M5 Vision Pro加了本地AI模型和自定义Siri语音,其他头显暂时没有,等正式版可以试试效果。
MiniMax-M3 让智能体一口气带进长历史、图、视频、文档和工具输出,Together 优化后每 GPU token 翻倍,自动任务成本更低。
OpenAI 的新图像模型 GPT Image 2 现在能用 Together AI 的无服务器接口调用了,做多模态应用时直接用它生成和编辑图片,支持布局和文字控制,挺方便。
谷歌和艺术家在洛杉矶开了个AI艺术博物馆,进去能看到12亿像素的实时画面,还能感应你的情绪释放气味,挺新鲜的。
SPOT-E这个新方法挺有意思,它不重训模型,只在推理时搞了个视觉聚光灯和熵整形,就让VLM在那些需要细看局部证据的任务上表现好多了。尤其用GRPO调优,效果提升还挺稳定。
阿里开源的 LOGOS 模型,用 1/56 参数就碾压了微软 NatureLM,还统一了蛋白质、小分子等科学对象的语言,搞科研的可以看看源码和论文,开箱即用。
想知道微调后的机器人模型到底还记不记得常识?这篇论文用动作答题的方式测了7个VLA,发现简单概念还行,复杂知识掉得厉害。
阿里Qwen团队这个机器人模型用开源数据和人类演示就能学,跨平台零样本操作,还在多个测试里碾压了π0.5,做机器人开发的别错过。
谷歌刚推的Android 17,深度集成了AI,能用Lyria 3生成音乐、Gemini Omni剪视频、AudioLM实时翻译,Pixel 10a还有新功能,挺实用。
这个Data Journalist Agent能自动把数据做成带验证的图文视频报道,做数据新闻的不用手动整合多模态了
SpatialClaw 不用额外训练,靠写代码搞定复杂视觉任务,在 20 个基准上平均提升 11.2 分,还兼容多种模型。
如果你在搞音乐生成,想用人类偏好来对齐模型,这个开源的奖励模型 TuneJury 可以让你直接拿来用,还附带了三种应用示例,比重新训一个省事多了。