10:02
官方账号arXiv cs.AI@Austin Tudor David Andrews, Liam Wilkinson, Jamie Heagerty, Harry Coppock, Jakob Nicolaus Foerster, Rui Ponte Costa
精选73°
推荐理由：MIT团队发布文明VI智能体基准测试，揭示AI在长期规划中的监控和执行缺陷。
CivBench
共 1 条相关 AI 资讯
9月3日
10:02
CivBench是一个开源基准测试，通过模型上下文协议(MCP)评估语言模型在长期工具中介环境中的表现。单个测试包含300多回合，产生数千次工具调用，需要在不完全可观察环境下进行持续规划、状态监控和执行。该环境提供76个MCP工具和一个将视觉游戏状态转换为结构化文本的叙述层。研究团队使用CivBench对四个模型家族的23次可接受运行进行了行为特征分析，并引入了主动监控率(PMR)和RAG@10两个界面级指标。