#基准测试

arXiv 上的新基准 FDE-Gym，拿 95 个真实客户交付任务考 13 个模型配置，最好的模型也只做对 14 个。想知道智能体离真实交付差在哪，看这篇。

一篇数学审计方向的论文，搭了个 72 任务的基准，用 Qwen3-8B 测出验证器反馈确实能帮模型交出更多可用反例。做数学推理评估的可以看看它的任务设计。

一个用 Reddit 真实说服对话测 LLM 社交智能的新基准，发现模型在行动上赢过人类、在读懂人心上还差一截，论文细节挺有意思。

一篇 arXiv 论文，让模型智能体自己写机器人控制代码并验证是否真的在学，还区分了运气和真本事，做机器人方向的值得看实验设计。

拿 756 道真实实验决策题考了 8 个多模态模型，最高分才 45.8%，还比不过博士生，看看模型到底错在哪。

数学家把29道组合开放题做成qtBench，OpenAI研究员对几道给出拟解，脚手架还能防作弊。

这篇论文造了个新基准，让模型靠多轮提问猜出 960 个专业概念，结果开源推理模型反而输给普通指令模型，挺有意思。

Muse Wonder 实测不如 Fable 和 Astra，官方说新基准测试很快放出，做视频生成的可以蹲一下细节。

Bindu Reddy@bindureddy11 个信源在谈原文

Scale AI 的 Alexandr Wang 实测了 Meta 新模型，说它跟 astra、fable 和 Opus 打平甚至更强，还断言 Meta 会赢下消费级智能体市场。

官方账号Alexandr Wang (Meta MSL)@alexandr_wang11 个信源在谈原文

Abacus.AI 做了个反刷分的长程智能体基准 LiveBench 2.0，还会算每任务成本，等 Argon 发布时一起上线，选模型时可以盯着它看。

Bindu Reddy@bindureddy原文

一群研究者做了个叫 AgentSWE 的基准，25 个任务专门测编程智能体能不能真的按需求造出智能体，结果没一个过关，还总结了三种典型翻车模式。

跑了120万次调用才发现，temperature 0 的语义查询结果也会变，三个知名基准的结论不少站不住，做数据管线的人该看看。

中科大团队做了个 Minecraft 基准 MC-EvoBench，专门验证智能体是不是真学到了能跨世界迁移的能力，结论挺扎心：经验基本迁移不动。

MIT推出的SqueezeBench基准解决了AI数学评估饱和问题，智能体不断刷新记录，仍有改进空间。

Arena 挂出了完整的智能体排行榜，想知道各家 Agent 谁强谁弱，直接看这个榜单就行。

lmarena.ai@lmarena_ai原文

拿 Minecraft 重建曼哈顿、白金汉宫这些真实地点来考模型找路，GPT-6 Astra 考了 85.6 分，开源的 DeepSeek-V4.1-Flash 才 23.9，差距很直观。