AgentAudit能全面评估AI智能体表现,发现任务完成表现相似但信任度差异巨大的模型,比传统通过/失败基准更精准。
全部动态
LangSmith团队发布新论文,教你如何通过工具边界优化提升Agent可靠性,比单纯改提示词更有效。
这篇论文揭示了AI模型如何应对用户质疑,不同模型在权威转移和坚持原主张上的差异很有意思。
DeepSeek团队用RAME框架在谷物育种信息提取任务击败GPT-5.5,代码已开源。
Claude、GPT-5和Gemini在代码生成时加入执行约束后,代码效率大幅提升,最高快3.1倍。
研究人员提出环境演化方法,让终端智能体训练环境持续变难,在Qwen模型上提升了18%性能。
ByteDance团队推出HarnessDev基准,首次评测LLM能否自己创建Agent执行框架,发现模型间harness迁移性极差。
LLMPEDIA 让你能直接查看和比较三大模型的知识准确性,发现它们在 MMLU 外的真实表现。
Qwen团队测试了18个模型在365天电商运营中的表现,GPT-5.6 Sol盈利最多但效率不高,Qwen3.8-Max-Preview在开源模型中领先。
ECGQuest为心电图领域语言模型提供了首个专业评测基准,微调让小模型接近大模型表现。
MIOH基准帮你看清多模态模型在复杂视觉推理中的真实表现,GPT-5和Gemini-2.5-Pro也不例外。
LoopArena 基准首次单独测量模型作为'管理者'的能力,发现 GPT-5.5 在长程任务中表现最佳,但成功率仍不足 25%。
这篇论文用经济游戏测试了四大模型家族的心智化能力,发现GPT-5能灵活调整推理深度,表现超过人类。
Recuris模型在长时程任务中显著提升了GPT-5.6 Sol和Claude Opus 5的表现,是长时程智能体驱动的递归记忆架构的一个突破。
StepGuard 通过自动数据生成和动态平衡学习,显著提高了安全防护的准确率,同时保持了效用。与 GPT-5.4 相比,防护效果更佳,值得一看。
这篇论文通过分析Reddit上的讨论,揭示了模型发布如何影响用户对对话式AI系统的看法,对于了解AI产品与用户互动有重要意义。
研究ISAC框架,了解如何利用问题信息提升LLM生成提交信息的效果,与现有方法相比有显著提升。
这篇论文评估了LLMs在语法工程中的实用性,特别是针对Cantonese ParGram资源,与GPT-5.4相比,gpt-oss-120b表现稍逊。研究有助于了解LLMs在语法工程中的优势和局限性。
Repo0通过GPT-5 mini和DeepSeek V3.2实现了更高的功能覆盖率和通过率,是设计驱动零到全代码生成的创新框架。与RPG相比,性能提升显著。
这篇论文用GPT-5.5和DeepSeek实测发现,压缩上下文会让智能体反复重新查工具,任务成功率却没变。想知道为什么只看完成率会骗人,可以读读。
这篇论文拿五个主流AI模型去考大学OOP期末题,结果都比学生平均分高,但抽象类和图形题还是会翻车,想看AI编程能力真实段位的可以读读。
StateM 不改模型权重,光靠升级执行系统就把 GPT-5.6 在终端测试的准确率拉到 95.3%,成本只要 15 美元,值得看看它的思路。
想看看AI在规则变了之后能不能自己改代码?PACE-Bench 专门测这个,目前最强的 GPT-5.5 也只解决了 Statics 子集的三分之二,离满分还远得很。
论文实测三种LLM的修复能力,发现便宜的DeepSeek-V3.2成本效率反超GPT-5,选模型前值得一看。
普林斯顿和英国AI安全所让Claude和GPT-5写论文,全拒,打脸Anthropic和OpenAI。
这篇论文用 QuoteBench 拆穿了只看匹配分数的假象,原来 GPT-5.6-sol 的分数是负 64 和正 60 抵消出来的,部署配置一变排名就翻,评估编程智能体前该看看。
想知道小模型微调后能不能干过大厂API?这篇用2千多条真实学生数据实测,DeepSeek-R1 1.5B微调后比GPT-5 mini还稳。
想知道中国大模型是不是都一个样?这篇论文用囚徒困境测了DeepSeek、Qwen、Kimi和GLM,发现它们合作倾向差别挺大,别再把它们当铁板一块了。
开源模型Fisher-R1专治假设检验,比GPT-5.4和DeepSeek-V4-Pro都强,最难任务能提26%,搞数据分析的可以看看。
Video-DR 让 AI 边看视频边上网核实信息,35B 参数干翻 Claude-4.5-Sonnet,还开源了,值得试试。
想解决城市服务碎片化问题?这个框架把LLM和代码、API、MCP接起来,跑通跨系统任务,成功率比最强基线高10个点。
让GPT-5.4、Gemini 3.1和Claude 4.6评审300篇ICLR论文,发现它们能区分录用和拒稿,但分不清oral和poster,Gemini给分偏高。用AI审稿前先看看这个。