Pegasus 相关 AI 资讯 · AITOP · AI热报

7月30日

10:16

10:16

官方账号arXiv cs.AI@Jia Luo

Pegasus提出基于图结构的知识转移框架，通过Task Graph从人类操作视频中提取信息，再经Affordance和Constraint Graphs转化为Robot Planning Graph，用于机器人条件视频生成。该框架在GTEA Gaze+和EPIC-KITCHENS-100等基准上评估了Task Correctness、Executability、State Consistency和Learnability，实现了可靠的跨形态翻译。Pegasus将机器人数据生成从硬件采集问题重新定义为可扩展的低资源知识转移问题。

AI模型 Pegasus 具身智能知识转移

推荐理由：Pegasus用图结构把人类视频变成机器人能学的数据，不用砸钱搞硬件采集了，跨形态效果不错。

7月29日

17:26

17:26

Qdrant@qdrant_engine

精选

Twelve Labs 在 Vector Space Day SF 上指出了视频处理的三种失败模式：Wrong Context、Wrong Memory 和 Wrong Reasoning。他们推出的 Marengo 检索模型把视频变成可搜索内容。Pegasus 视频语言模型将检索到的片段转化为结构化答案。Jockey 智能体框架负责视频语料库的工作流和记忆层。底层由 Qdrant 处理存储与检索。

AI模型 Twelve Labs Marengo Pegasus

推荐理由：Twelve Labs 用三件套解决了传统视频处理漏掉动态和因果的问题，想做视频检索和推理的可以看看这套方案。

7月14日

09:42

09:42

官方账号arXiv cs.AI@Praveenkumar Katwe, Rakesh Chandra Balabantaray, Kali Prasad Vittala

该研究提出了三个抽象性度量指标：Reference Abstraction (RA)、Summary Abstraction (SA) 和 Abstraction Ratio (AR)，用调和均值与立方非重叠因子量化摘要偏离原文摘抄的程度。在100篇XSUM文档上对BART-large-cnn、Pegasus-xsum、DistilBart、MT5-small四个模型测试，SA在提取式模型（0.12-0.26）与抽象式模型（0.96-1.77）间有显著区分。AR指标还能识别需人工核查幻觉的摘要。代码和数据开源在GitHub。

论文 BART Pegasus XSUM

推荐理由：论文提出了三个新指标，能清楚区分提取式和抽象式摘要，还能帮你发现幻觉问题，比ROUGE更深入。