新评估套件可检测用户模拟器全部 10 类行为失败
如果你在做智能体评测,这篇很实用:它实测了现有用户模拟器评估指标的盲区,三类老方法只能抓出 10 类失败里的 5-6 类,新套件能全抓,还开源了基于 351 段真实会话的评测数据。
如果你在做智能体评测,这篇很实用:它实测了现有用户模拟器评估指标的盲区,三类老方法只能抓出 10 类失败里的 5-6 类,新套件能全抓,还开源了基于 351 段真实会话的评测数据。
Meta做了个能模拟真实用户行为的MIMESIS,比GPT-5.5更难对付,训练出的智能体更强。
新评估框架揭示了用户模拟器对代理测试的影响,能帮你选到最符合需求的模拟器。