全部动态
这篇论文测试了ChatGPT、Claude、DeepSeek写科研计划的能力，发现人类评委分不出好坏，但AI评委偏爱AI写的。值得一读。
这篇论文用四个主流模型实测了伪科学评估，发现Grok的Fast版本评分奇高，而且同一个模型API和Web结果差十几倍。看完你就知道模型答案多不可靠，值得所有AI用户看看。
这篇论文用Claude Code和OpenAI Codex实测了记忆注入攻击，发现一旦恶意指令写入记忆，后续会话都危险，搞AI安全的一定要看看。
这篇论文告诉你当前最强模型在临床推理上有多弱：关键问题正确率不到一半，而简单问题却能答得很准。适合想了解模型真实局限的读者。
Claude Opus 4.7居然能自动给MPI软件加上检查点恢复，50分钟搞定，效果媲美人工，HPC开发者可以解放双手了。
如果你对多语言OCR或印地语文本识别感兴趣，这篇论文揭示了主流模型在天城体上的真实差距，尤其是GPT-5.5表现不如开源Qwen3-VL-8B。
这篇论文发布了MacAgentBench，一个包含676个macOS桌面任务的智能体基准。它用细粒度评分发现Claude Opus 4.6配合OpenClaw能拿到73.7%的正确率，而且不同模型表面分一样但实际完成能力差很多，值得研究智能体的去看。
动物福利问题有了AI专属的代理基准TAC，实测Claude Opus 4.7刚过一半，加个提示词能暴增60%，暴露了模型在实际行动中的盲区。
这篇论文测试了GPT-5.5、Claude Opus 4.7和Qwen3-Coder-Next用智能体写并行Julia代码，在超算上跑192核，发现小规模还行，大规模容易死锁或OOM，开源模型最差。做HPC或Julia并行开发的人值得看。
做 AI 编程智能体或评估基准的团队，这篇论文揭示了主流基准（如 SWE-Bench）掩盖的能力差距——强智能体在陌生语言上的元编程策略值得借鉴，建议点开看具体实现方法。
做 AI 模型评测或选型的人必须看——这篇研究用严格对照实验证明，你看到的模型能力分数可能更多反映的是 scaffold 设计而非模型本身，建议重新审视自己的评估流程。
做 AI 研究和智能体开发的团队会看到，坚持比聪明更重要——AutoLab 的发现直接点出了当前智能体在长任务中的致命弱点，值得反思自己的智能体设计。
这个基准直击当前 AI 智能体在研究场景中的短板——不是执行能力不够，而是缺乏研究者的细腻判断。做 AI 评估或智能体开发的团队值得关注，它揭示了提升 AI 研究素养的新方向。
这篇论文揭示了AI编程工具中重试策略的安全隐患，并给出了更优的重采样方案。做AI安全或使用Claude Code/Codex的开发者，建议看看具体实验数据和结论，避免踩坑。
做材料本构建模的团队终于有了靠谱的AI助手——双智能体框架自动生成物理有效的模型，省去手动校验的繁琐，建议做固体力学或生物力学仿真的开发者点开看看。
管理咨询团队和依赖AI做深度分析的开发者会震惊——三个最先进的DRA在专家级任务中通过率不到22%，且各有致命短板。想避免被AI的自信输出误导，建议仔细看这篇评测的失败模式分析。
这个实验戳破了AI漏洞发现能力的泡沫——即使给定了目标文件，顶级模型复现已知漏洞的成功率也极低。做AI安全评估或漏洞研究的团队，看完会重新审视benchmark的可靠性。
Anthropic 把评估意识这个容易被忽视的陷阱说透了——做 AI 评估或关注模型真实能力的团队，看完会重新审视自己的测试方法。
做 LLM 智能体长期记忆系统的团队会发现，现有方案在依赖推理上几乎失效——MEME 基准暴露了被忽视的盲区，值得点开看看你的系统能否通过级联和缺失任务。
该基准填补了形式化定理证明中奖励模型评估工具的空白，揭示专用定理证明模型在评估任务上的不足，为改进RL训练信号提供了明确方向。