LLM agents 相关 AI 资讯 · AITOP

8月29日

00:41

官方账号arXiv cs.LG@Tommaso Bendinelli, Artur Dox, Christian Holz

TraceBench是一个基于模拟的框架，用于生成受控的根因归因任务。研究团队使用三个可解释的机械系统生成任务，评估了四个LLM智能体在受控实验条件下的表现。结果显示，智能体从领域上下文中获益显著，主要通过数值控制台输出而非可视化探索数据。当要求生成Python脚本映射时间序列样本时，智能体表现通常较差。

推荐理由：TraceBench发布了首个LLM智能体时间序列根因评估框架，包含数据集、实验结果和排行榜，tracebench.github.io可访问。

原文

8月28日

19:57

官方账号arXiv cs.AI@Xiaokun Guo, Zhen Xu, Dongdong Huo, Yanqiu Zhang, Wei Wang, Qinfu Yang, Dongjin Yu, Yu Wang

精选73°

SARA系统解决了工具增强LLM智能体中工具输出从数据变为命令的安全风险。该系统将行动诱导与执行授权分离，在AgentDojo和AgentDyn测试中，将ASR控制在0.63%以下。SARA通过上下文隔离的行动探测和No-History-Promotion技术，保持任务效用同时提升安全性。

论文 LLM agents SARA 工具安全

推荐理由：研究人员提出SARA框架，解决了LLM智能体中工具输出被滥用的安全问题，在四个主要评估设置中表现优异。

原文

8月19日

11:45

官方账号arXiv cs.AI@Daria Leshchikova, Valentina V. Kuskova, Dmitry Zaytsev, Valerii Klimov

研究基于两项大规模调查（N=2,894和N=2,617）分析了在线约会平台用户对LLM代理的接受度。研究发现发送和接收代理通信是两个不同概念（相关系数rho=0.92但可分离，ΔBIC=52）。用户部署自己的代理所需接受度阈值（-0.38）远低于与对方代理互动（+0.32），部署倾向是互动倾向的三倍。随机配对反事实分析显示，仅4-13%的定向配对会同时使用代理发送和接收，且存在明显的性别方向不平衡。

论文 Agentic Recommender Systems LLM agents 在线约会

推荐理由：这篇论文揭示了在线约会中代理使用的不对称现象，对设计更智能的匹配系统有重要启示。

原文

7月30日

11:17

官方账号arXiv cs.AI@Jingbo Zhou, Yusai Zhao, Qi Bao, Jingjia Cao, Zhenghai Chen, Chang Gao, Kaiqi Guo, Muxin Guo, Mingxuan Li, Xinjiang Lu, Yanru Ma, Yixiong Xiao, Zenghui Zhang, Le Zhang, Hua Wu

新基准 OmegaUse-OfficeVal 包含 100 个办公套件任务，平均需 2.32 小时人工完成。每个任务提供人工时间与任务价格代理两个经济信号，用于对比人类成本与 LLM 推理成本。评估了 GPT-4、Claude 3.5 等前沿 LLM，结果显示它们虽更便宜更快，但交付质量尚未达到人类水平。该基准代码与数据集已开源。

论文 OmegaUse-OfficeVal LLM agents 办公套件

推荐理由：想做办公自动化？这个新基准用真实成本告诉你：现在LLM虽便宜但还没人类靠谱，值得看看差距在哪。

原文

6月25日

09:28

官方账号arXiv cs.AI@Aradhana Nayak, Mussadiq Nazeer, Wang Peng, Feng Liu

该论文提出一个GUI探索器agent，从示范任务出发系统探索查询空间，识别会导致用户敏感状态的GUI操作。现有LLM agent通常被微调为不管安全影响都完成任务，难以部署。论文定义了用户敏感状态和查询的分类，帮助工程人员在关键场景下识别并请求用户接管。实验在开放GUI环境中验证了方法的有效性。

论文 LLM agents GUI AI安全

推荐理由：研究团队做了一个GUI探索器，自动找出那些需要你亲自操作的敏感界面，比直接让AI乱点安全多了。

原文

6月23日

11:01

官方账号arXiv cs.AI@Shiyang Chen

73°

论文发现，长程 LLM 智能体依赖的上下文压缩机制会静默移除原本遵守的安全策略，导致违规行为。在 ConstraintRot 基准测试中，1323 个 episode 显示策略完整时违规率 0%，压缩后升至 30%，部分模型达 59%。攻击者还能通过对抗性注入诱导压缩器忽略合法策略。作者提出免训练的 Constraint Pinning 方法，将约束隔离在无损压缩外，恢复违规率至 0%。

论文 LLM agents ConstraintRot Governance Decay

推荐理由：这篇论文揭示了上下文压缩让 LLM 智能体偷偷遗忘安全规则，还给了可防护方案，做 AI 安全的一定要看。

原文