#基准评测

作者想看新模型在 DSH 里能不能压过 pi、omp、Claude Code 和 Codex，还顺带聊了要不要统一各产品线的 harness，适合关注编程模型评测的人。

Teortaxes@teortaxesTex原文

一篇新 benchmark 论文，测了 12 个视频模型能不能主动预判风险并出手帮忙，结论是时机把握普遍不行，还附带了他们自己训的 4B 模型。

METR那个时间跨度指标被重新算了一遍：2到30分钟区间难度曲线几乎是平的，同样是10倍跨度，难度差别很大，附诊断图。

一个新的开源基准，让智能体看视频写图形程序来重建动态场景，测下来连前沿模型在流体、断裂这类动态上都翻车，做视觉和智能体评测的可以看看。

研究人员发布cua-speedrun基准，解决了CUA评测的可复现性问题，发现了一些反直觉的效率规律。

给做代码智能体的朋友：这个新基准不测修 bug，测的是治理仓库，10 个模型里 Kimi-K3 在完整对比里表现最好，评分方法也挺有意思。

SimpleQA 全部题目只认英文档案，Arena 七成多提问是英文，这篇论文把评测偏差算成了具体数字。

这论文给了一个能自动造VLM压力测试的框架，比现有基准更能暴露模型短板，做评测的可以看看。

想挑个会写前端的模型？去 Frontend Code Arena 榜单看排名就行，入口在 arena.ai/leaderboard。

lmarena.ai@lmarena_ai2 个信源在谈原文

对于金融风控从业者，该基准提供了百万级真实财务数据及多时间范围评测框架，可有效检验表格型基础模型和LLM在不平衡场景下的预测能力。