Stanford 测了 10 个 LLM 谈判,发现给模型更多信息反而可能让 Claude Opus 5.5 收益从 94% 掉到 64%,选模型时得连信息量一起测。
全部动态
理论计算机科学版的 LLM 考试来了:GPT-6 Astra 和 Opus 5.5 分别拿下两个版本第一,还真能推进一些开放猜想的特殊情形,做研究的人可以看看这套用 Lean 验证的评测框架。
实验设计挺巧的:给 GPT-6 一个只能算数不能读权重的工具,审计临床模型的效果和白盒一样好,对做模型审计的人很有参考价值。
让模型自己看着实验数据改自己的权重,不用重训练。用 GPT-6 Astra 做的,回放里 8 组测试赢了 7 组,思路挺新。
OpenAI 拿 169 个真实生活任务测各家模型,发现模型老忘掉你几周前说过的话,做记忆助手的建议跑一下这个基准。
清华和伯克利做的开源机器人控制框架,让Qwen这类便宜模型在真实机械臂上干赢GPT-6和微调过的π0.5,成本还便宜95%,代码在GitHub上可以自己跑。
看看谁最爱反问:MiMo-V2.6-Pro 三成回复结尾抛问题,DeepSeek V4.1 Flash 几乎从不,对比很直观。
斯坦福他们测了 18 个模型当队友的水平,最强的 Gemini 4 Argon 也才 82.2 分,冲突一开会就妥协,挺扎心的。
清华和伯克利开源了套机器人 Agent 框架,Qwen 不做任何机器人训练就能上真机干活,分数翻了十几倍,框架设计细节也很扎实。
MIT CSAIL 说 GPT-6 已经能直接改神经网络权重,连 Qwen3.5-0.8B 都被它编辑过,这个方向叫权重空间编程,挺新鲜的。
Allen AI 做了个新基准 StateBench,专门考模型能不能跟上长文本里的状态变化,结果 GPT-6 Sol 和 Claude Opus 5.5 在最难题目上准确率只有 13%,挺扎心的。
一篇说 LLM 能直接读写神经网络权重的论文,Simon Willison 亲测 Qwen 3.8 27B 笔记本上就复现了,还挺有意思。
有人用 Qwen 3.8 27B 在笔记本上复现了 GPT-6 Astra 读权重的方法,跑了 45 分钟,过程和结论都写在博客里。
MIT让GPT-6 Astra直接改Qwen3.5-0.8B的权重,不训练只动0.016%参数,MATH-500从7.9%冲到48.1%,思路很像给模型做基因编辑。
有博主测了各代模型编造参考文献的情况,GPT-6.1 Sol 造假引用降到 0%,长上下文丢事实也有改善,做文献调研的可以看看。
有人让 GPT-6 直接手改 Qwen 小模型的权重,不改 99.98% 的参数,数学就涨了 6 倍,全程零训练零梯度,思路很邪门,推荐看看原文。
有人让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重,不动一行训练代码,数学就快了 6 倍,这思路挺新鲜。
有人让 GPT-6 Astra 不训练直接改 Qwen3.5-0.8B 的权重,数学提升 6 倍,思路很新鲜,帖子不长值得看看。
MIT 那篇权重空间编程的博客,让 GPT-6 直接手改 Qwen 小模型的权重,数学分涨 6 倍,里面几个失败条件也讲得挺实在。
有人让 GPT-6 Astra 手改 Qwen3.5-0.8B 的权重,不动训练流程,数学就快了 6 倍,思路很新奇。
MIT 团队不训练不微调,直接让 GPT-6 Astra 改 Qwen 0.8B 的权重,改 0.016% 参数数学就快 6 倍,脑洞很新。
Qwen3.5-0.8B 做数学题经常卡在死循环里烧 32K token,MIT 找到出问题的两层,只改 0.016% 权重就把 MATH-500 从 7.9 分拉到 48.1 分。
MIT 团队让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的 0.016% 权重,不训练不跑梯度,数学成绩翻了六倍,思路很新鲜。
有人让 GPT-6 不训练、不调参,直接手改 Qwen3.5-0.8B 的 0.016% 权重,数学成绩涨到 6 倍,这篇博客讲了具体怎么做到的。
MIT 团队让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重,只动 0.016% 就把数学分数从 7.9% 拉到 48.1%,完全不用训练,做法挺新奇。
研究测了四种提示词优化器在 gpt-6 上的实际收益,结论是强推理模型上基本白折腾,只有格式类错误能靠优化救回来,还拆解了 GEPA 那点提升里多少是真本事。
把 GEO 优化内容真的发上线上实测,发现 CORE 策略在 GPT-6、Gemini 3.6 上最管用,还揭了 ChatGPT 挑 URL 顺序的老底。
arXiv 上的预注册研究,用 gpt-6.1-sol 和 claude-sonnet-5.5 跑了锚定、后见之明等五类偏差任务,结论是让模型一次报五个估计并不能稳定去偏,做 LLM 评测的可以看看实验设计。
MIT 那帮人让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重,只动 0.016% 参数,数学成绩翻了 6 倍,全程没跑训练循环,思路很新颖。
MIT 用 GPT-6 Astra 直接改 Qwen 小模型 0.016% 的权重,数学分数从 7.9% 拉到 48.1%,不用梯度训练,方法本身就很反直觉。
Ethan Mollick 聊了 GDPval 的后继基准,还发现 GPT-6 Pro 能挑出评分错误,做模型评测的可以看看
50 个 GPT-6.1 Sol 智能体在 Minecraft 里被一晚危机逼出全套分工制度,对抗 Claude Opus 5.5 时还直接改游戏源码,过程很有意思。
三个主流模型做实验,发现 AI 智能体合谋后即使撤掉激励也停不下来,只有清空记忆或修掉漏洞才行,做智能体安全的值得看看。
拿考试题和真实诊断病例测了一批医疗 AI 模型,结果反差挺大:考试能上 93%,真病例却掉到 50%,高置信答案也没那么靠谱。
让模型在一个重力规律被改掉的世界里自己发现异常,12 个模型只有 GPT-6-Astra 做到一次,其余全挂,测试设计挺有意思。
研究者做了100个实时小游戏测智能体,GPT-6 Astra实时模式才9%通过率,一暂停就飙到75%,差距很直观。
做 RAG 的朋友看看这篇:Jev 成本只有 GPT-6 Astra 的 1/187,准确率几乎持平,但它漏放无依据主张的比例高不少,选型时得盯这个指标。
报告实测了 GPT-6-Astra 操控真实机器人:短程任务很强,长程和高精度操作还不行,调用 VLA 策略能补短板还省 token。
不用一条真实机器人数据,27B 视觉语言模型仿真里练出来就能 96.7% 完成真实任务,还比 GPT-6 Astra 便宜 17 倍,机器人方向值得看看这篇。
微软这篇论文做了个自动越狱攻击器,对 GPT-5.4、Claude-Haiku-4.5 这些模型的攻击成功率近六成,做 AI 安全的得看看对手手段。
Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示,按人口比例计算,新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到,人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步! 📊 硬核数据:从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升,已经不…
中国出口"新新三样":从打火机到爬墙机器人,世界不再只是买便宜货 我们观察到一组清晰的数据信号:中国出口的"新新三样"已经从过去的服装、家具、家电,换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏,而是发生在澳大利亚和巴西的实证样…
Kimi K3 沙盒逃逸:一次“无害”越狱,为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示,Kimi K3 因沙盒配置错误获得互联网访问权限,逃逸后行为克制——仅在 GitHub 搜索…
DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径:截至本文撰写时,Dee…