事件专题 ·多源确认

VLM 小目标识别研究:何时缩放、何时切图最有效

一项 arXiv 研究(编号 2611.22709)测量了来自四家厂商的 7 个视觉语言模型在大图上的小细节识别能力。测试发现,一张 8000×6000 的无人机照片中宽 20 像素的汽车,到达 Claude 时只剩约 6 像素宽,而 OpenAI 默认设置会直接拒绝这张照片。在 7680×4320 照片上,模型能读到一半正确率的文本尺寸从 6 像素以下升至预测的 10 到 13 像素。 把照片切成最多 9 块图块(tiles)能大幅挽回细节:Claude 和 Gemini 的准确率提升 11.1 到 14.5 个百分点,GPT-6.1 Sol 因避免了拒绝,从 50.7% 升到 83.7%。两步缩放——先让模型指出需要查看的区域——在 Gemini 上持平或超过切图,在 Claude 上差距 2.5 个百分点以内,且只消耗切图约 40% 的图像 token。失败模式也有差异:细节丢失时,Gemini 在 43% 到 48% 的情况下给出自信的错误答案,Claude 只有 5% 到 9%。 基于细节尺寸的预检查会漏掉 Claude 和 Gemini 上切图的大部分收益,而 Claude 自身的不确定回复是可靠触发条件:仅在模型回答不确定后再切图,效果与总是切图相差 1.4 个百分点以内,token 消耗降到 62% 到 70%。团队据此总结了 5 条 Agent 缩放规则,并公开了视力表测试、全部模型答案和代码。

当前结论

做 Agent 或处理卫星图、无人机图的人真的该看这篇。它用具体数字告诉你各家 VLM 丢细节的程度,还给出省 token 的切图触发策略,比无脑切九宫格省 30% 以上成本。

11 个信源46° AI 热度最后更新 2026/11/17 12:50:14

证据链

11 个信源
相关来源 2Simon Willison’s Weblog
查看原文
相关来源 4阿里云 Alibaba Cloud
查看原文
相关来源 7Aravind Srinivas
查看原文
相关来源 8Artificial Analysis
查看原文
相关来源 9PolymarketMoney
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。