#LLM评估
共 51 条 · 7 天 4 条 · 30 天 12 条
5月28日
LiveBrowseComp:搜索智能体是在搜索,还是验证已知信息?
这项研究戳穿了搜索智能体的真实能力——它们可能只是在验证已知信息而非真正搜索。做搜索Agent或评估AI检索能力的团队,值得看看LiveBrowseComp这个新基准,避免被静态测试误导。
5月26日
DiscoverPhysics:测试LLM在非标准物理世界中科学推理能力的基准
这个基准直击LLM科学推理的软肋——从数据中归纳规律而非回忆知识,做AI评估或科学模拟的团队值得关注,它暴露了当前模型在长程推理和实验设计上的真实短板。
5月25日
5月22日
SWE-Mutation:评估LLM生成测试套件可靠性的新基准
软件工程团队和AI研究者终于有了一个严谨的测试套件质量评估工具——SWE-Mutation能帮你判断LLM生成的测试是否真的可靠,做自动化测试或代码修复的开发者值得关注。
5月20日
MediLongChat:合成长期医疗对话数据集,评估AI记忆能力
医疗AI开发者终于有了一个能真正测试长期记忆能力的基准——MediLongChat让跨会话推理变得可评估,做医疗对话系统的团队建议直接拿来跑跑看。
5月19日
5月12日
5月11日
论文11:42
VecCISC:通过推理轨迹聚类降本增效,提升置信度自一致性VecCISC通过聚类与过滤显著降低计算开销,对工业界部署高精度推理模型具有实际价值,尤其适合长轨迹场景。
arXiv cs.AI原文