#LLM评估

DeepSeek-V4-Flash 和 GPT-6.1-Sol 抽实体都不靠谱，但坏的原因不是幻觉，而是把背景信息当成攻击实体。用置信度分层排审核优先级，别当真值。

arXiv 论文用 MultiHopRAG、FRAMES 证明：评 LLM 集成收益不先定对照，数字能差 8 个百分点。

论文提出了一种创新的评分标准评估方法，揭示了不同LLM生成评分标准之间的不对称性，对AI性能监控有重要启示。

没有标准答案的问题怎么评测模型？这篇论文借经济学问卷检验的思路给了一套可操作方法，还实测了 6 个模型，思路挺新鲜。

一篇关于小语种文化评估的论文，母语者出题测 LLM，发现海地角色老被写成苦难叙事，角度挺有意思。

LangChain 把 Jev-as-a-judge 接进了 LangSmith，生产 trace 全量打分、不用抽样、成本不涨，做 LLM 评估的可以上手。

Harrison Chase@hwchase17原文

这篇论文提出了一个评估医疗思维链是否忠实的新方法，对于关注医疗AI的读者来说，这是一个重要的研究进展。

想了解RAG系统评估的新方法？RAT模型能揭示系统行为差异，值得一试。

这篇论文详细比较了人类助教和LLM在编程反馈上的表现，揭示了LLM评估自身输出的偏差问题，对于关注教育领域AI应用的人来说值得一读。

想了解如何评估LLM在隐私和偏见方面的表现？这篇论文提出了一个新方法，值得一读。

这篇论文给科学问题生成系统立了个可证伪的考试：用未来文献打分。证据结构优先的生成器比纯 LLM 提示更靠谱，还发现 LLM 评委互相打分虚高，值得做科研工具的人看看。

他们揪出了SciCode基准里的263个坑，修完后模型分数从60%直接飙到98%——原来不是模型笨，是考卷错了。

多模型两两PK加Elo计分来评LLM输出，能调阈值控严格度，科学摘要上跟专家判断挺接近。

想测LLM的长对话记忆力？RUMBA这个俄语基准能细粒度诊断模型在时间推理上的强项和短板。

这篇论文用四个LLM当裁判，比较了Grok写的百科和维基百科的政治中立性，结果发现Grok版也不中立，甚至更偏，还各有倾向。

这篇论文用GPT-5.2做药物副作用评估，温度调优后准确率从45%跳到72%，对药物安全分析很有参考价值。

这篇论文梳理了LLM评估与安全之间测量问题的八大证据流，还审计了10个模型，发现很多看似安全差距其实来自信息披露。搞模型安全的人值得看看怎么避免被表面指标骗到。

BINEVAL把LLM评估拆成一堆“是/否”问题，结果好理解、易调试，在事实一致性上比UniEval还准，还能自己优化提示词。

想看你用的LLM在核工程上有多靠谱？NuclearQAv2用1240道硬核题测出模型的定量推理短板，比通用基准更实在。

这个基准提供了具体的数据和评估，能帮你了解不同检测器在处理多语言PII时的真实表现差异。

别被固定预算的基准分数骗了，这篇论文揭示了很多模型实际能力需要更多推理计算才能看出来。

做计算化学或药物设计的团队终于有了评估LLM超分子推理能力的标准测试——SupraBench覆盖了结合亲和力预测等关键任务，想验证LLM在化学领域实用性的研究者可以直接用。

做奖励模型或 LLM 评估的团队终于有了一个轻量级替代方案——不用每次生成评分标准，而是合成可复用的评估技能，效果还比传统方法好很多，值得在 RewardBench 上跑一下自己的模型。

做LLM评估或模型对齐的团队会关心：这篇论文给出了在有限标注预算下选择校准策略的实用指南，建议直接参考其机制图来优化你的法官面板配置。

这篇论文戳破了 LLM 排行榜的统计幻觉——很多排名差异其实不显著，做模型评估的团队和关注排行榜的开发者看完会重新审视自己的比较方法。建议点开，避免被虚假的排名差异误导。