视觉定位相关 AI 资讯 · AITOP

9月1日

10:16

官方账号arXiv cs.AI@Junbeom Hong, Seonghoon Yu, Hyung Rok Jung, Sundong Kim, Jeany Son

研究人员提出了一种针对视觉定位的主动学习方法，解决了标注瓶颈问题。该方法在没有配套文本的情况下，通过基础模型生成辅助区域-文本对，引入" referred region ambiguity"获取函数。在RIS和REC基准测试中，该方法优于多种基线，用户研究显示标注速度提升最高达1.6倍。

论文视觉定位主动学习 RIS

推荐理由：这个新方法能让视觉定位标注快1.6倍，特别适合需要大量标注数据的团队。

原文

8月19日

00:08

Jerry Liu@jerryjliu0

精选78°

LlamaIndex发布ExtractBench基准，专门评估文档提取的视觉定位能力。测试显示，通用视觉模型和编码智能体在返回证据时得分为零，而专用VLM文档工具LlamaParse表现领先。LlamaExtract Agentic Plus在页面级F1达84.9%，词级46.4%，长文档上保持87.1%，其他系统在长文档上跌至0%。基准要求字段值和引用都正确才算分，词级框IoU需达0.5。

AI模型 LlamaParse ExtractBench LlamaIndex

事件专题

推荐理由：做PDF智能体的话，这个基准和工具值得看。通用模型定位不行，LlamaParse能精确到词级框，长文档也不掉链子。

原文

8月12日

18:26

官方账号arXiv cs.LG@Changhao Xiang, Shangyu Xing, Zhen Wu, Jianbing Zhang, Xinyu Dai

MMCS是一种新的多模态预训练方法，通过将文本实体替换为对应视觉对象，提供显式的对象级监督。该方法仅用50K样本就能匹配或超越在600K图像-文本对上训练的模型，数据效率提升12倍。MMCS在773K样本的预训练数据集上验证了有效性，并持续提升不同规模模型的视觉定位和感知能力。该研究针对现有MLLMs中图像级对齐的指称歧义问题，提出了更精确的局部视觉-语言对齐方案。

论文 MMCS 多模态预训练

推荐理由：这篇论文提出MMCS，用50K样本就干翻别人600K的效果，做多模态预训练的可以看看这个新思路。

原文

5月27日

10:28

官方账号arXiv cs.AI@Shihao Wang, Shilong Liu, Yuanguo Kuang, Xinyu Wei, Yangzhou Liu, Zhiqi Li, Yunze Man, Guo Chen, Andrew Tao, Guilin Liu, Jan Kautz, Lei Zhang, Zhiding Yu

精选

LocateAnything 提出并行框解码（PBD）方法，将边界框和点作为原子单元单步解码，替代传统序列化坐标生成，解决了几何结构耦合性差和推理瓶颈问题。该方法在保持框内几何一致性的同时，显著提升解码吞吐量和定位精度。团队还构建了包含1.38亿训练样本的大规模数据集 LocateAnything-Data，增强数据多样性。实验表明，LocateAnything 在多个基准上实现了速度与精度的新前沿，高IoU定位质量显著提升。这项工作展示了并行解码与大规模数据在统一视觉定位与检测中的互补优势。

论文视觉定位目标检测并行解码

推荐理由：做视觉定位或目标检测的开发者，LocateAnything 的并行解码思路能直接提升推理效率，建议关注其开源数据和模型。

原文

5月25日

11:15

官方账号arXiv cs.AI@Rim Assouel, Amir Bar, Michal Drozdzal, Adriana Romero-Soriano

精选

多模态大语言模型在细粒度视觉理解上仍有不足。研究者提出PGT框架，通过在图像上叠加几何基元生成密集监督信号，分离视觉定位与语义先验。实验显示，在LLaVA-v1.5-Instruct上加入PGT数据后，What'sUp基准提升20%，CV-Bench-2D提升13.3%，且不影响通用感知能力。在先进MLLM上微调也带来最高8.3%的提升。结果表明，许多空间推理缺陷源于监督信号不足，而非架构或分辨率限制。

论文多模态大语言模型视觉定位数据增强

推荐理由：PGT用低成本数据生成解决了MLLM细粒度视觉理解的瓶颈，做多模态模型训练或评估的团队可以直接用这个框架提升定位能力，值得一试。

原文