全部动态
Ai2 做了个叫 TutorMoments 的测试,看模型辅导作业是引导你自己想还是直接给答案,Astra 和 Opus 5.5 都被测了,提示词写细一点分数明显更高。
Goodfire 的 Tom McGrath 聊可解释性,讲清了模型写出的推理和脑子里实际想的事可能不一样,还有怎么用内部信号抓模型作弊,做 AI 安全的别错过。
微软研究院一口气放了六项研究,有让 AI 学会主动问清楚的,有改 KV-cache 省内存的,做机器人和做工程的都能翻翻。
斯坦福团队扒了 25 万条真实对话,发现大家用 AI 不是偷懒,是学习。数据挺有意思,做产品的可以看看。
Salesforce 做了个 ANCHOR 基准,专门测 AI 陪伴产品聊久了会不会忘事变脸——结果模型记用户近况的能力基本等于瞎猜,做陪伴应用的可以看看。
Nvidia 发的这篇论文教你在花大钱 post-train 之前,用一个便宜方法挑出最适合做 agent 的基座模型,和 SWE-bench 排名对得上 0.964。
Google 这份白皮书把 MCP、A2A、A2UI、AP2 一套协议讲透了,做 Agent 开发的话这些连接标准迟早要碰,先存着。
给 Agent 写评分器最烦,AWS 和 HSBC 这篇论文说 10 个标注样本就够自动进化评分器,做 Agent 自我改进的可以看看。
Marcus 转了条推,讲为什么 SWE-bench 同一模型换个 harness 分数差很多,还捋了符号验证一百年学术史,观点挺硬核。
斯坦福自进化智能体课第一讲的笔记,从 Scaling 到 Agent 闭环一条线讲透,还讲了 Llama 3 靠重复采样反超 GPT-4o 这种细节,看完比刷十条新闻有用。
JetBrains 研究员看了 4,782 个真实会话,发现 SWE-Bench Pro 这种基准和实际用法差太远,还做了个新基准 SWE-TaskFlow,做评测的应该看看。
Amazon 这篇论文说,把历史实验记录喂给 LLM,它就能提前猜出哪个训练改动有用,OLMo3-100M 上相关性冲到 0.892,比硬堆推理努力管用。
Meta 把多个智能体丢进同一个 Git 仓库,失败记录也不删,结果在 ProgramBench 上比单跑 Codex 高出 14 个百分点。
同一篇摘要换个模型改写,Pangram 的漏检率就从 6.5% 跳到 79.8%,说明检测器认的是模型指纹而不是 AI 痕迹。
有人拿DeepPlanning这个多日旅行规划基准来讨论:harness自己改自己,到哪一步就不管用了。做agent评测的可以看看这个思路。
有人给 DeepSeek V4-Flash 做了个超网络,把上下文直接变成参数,投影塞进每层共享专家 MLP,思路挺野。
做智能体记忆的可以看看:别再用一套 embedding 搜所有记忆了,先分类再按类型检索,三个数据集上 Recall@1 最多涨 16.18%,还附了 TriMEM 数据集。
阿里 Qwen3 模型在训练时套上部署用的执行环境,Spider 2.0 成绩直接翻倍多,做法是把数据库装进沙盒里边跑边学。
Stanford 这篇研究很实用:智能体死循环就改 prompts 和工具,计划烂就上 LoRA 微调,还给了一组具体数字对比。
Sakana AI 发了篇论文叫 MASS,让 Qwen3.6 自己出题自己打分再微调自己,两轮下来性能涨到 1.6 倍,开放式任务也能自我改进了。
Meta 开源的 IdeaScientist,一个 27B 模型自动写科研提案,居然比 Claude Code 和 Codex 的方案还高近 6 个点,做法拆成三个 RL 角色,做 AI-scientist 的必须看。