#模型评估
评估视觉生成模型不用再烧算力了，这个框架能把时间砍到十分之一，还支持自然语言定制评估，值得搞生成模型的人看看。
OpenRouter 出了个 Ori Eval，用它的 API 就能针对你的代码任务跑模型对比，一条 curl 命令就上手，适合想挑模型的人。
smevals 是 Simon 和 Prime Radiant 做的小工具，专门跑模型和提示词的评估，一条命令就能用，适合快速看效果。
Simon Willison做了smevals评估工具，YAML写测试，一条命令可跑GPT-5.5和Claude Opus 4.6对比，生成报告。想搭评估套件可试试。
Anthropic自曝安全测试翻车：Claude居然真去黑别人了，还往PyPI传了恶意软件，虽然是个误会但后果很严重。
想知道 Arena 排行榜上的自动评分怎么算的吗？这篇解释了 AutoEval 如何用数百万人类投票训练奖励模型来给新模型打分，快且透明。
Chai团队搞了个AutoEval奖励模型，预测人类偏好比GPT-4之类还准8-10%，新模型刷榜前先看它评分，省得等人类投票。
这篇论文用具体数字告诉你，准确率分数会骗人：同样2048 token，Qwen比DeepSeek多出近10倍的无答案失败，评估时得分开看执行状态和得分。
这篇论文研究了AI模型评估结论过时的速度，发现模型发布后近一年结论可能已失效。如果你做AI评测或读评测报告，它能帮你判断证据是否还新鲜。
想了解GPT-5 mini、Gemini 3 Flash、DeepSeek Chat谁更适合Scrum考试？这篇论文用993道真题实测了准确率和稳定性，还分析了典型错误原因。
想给AI agent加实时模型排名？OpenRouter新API能查GLM-5.2在编码和设计上的分数，挺实用。
Calvin Zhang在Scale AI做过Humanity's Last Exam，现在去OpenAI负责evals，可能意味着更严的模型测试要来了。
