理论计算机科学版的 LLM 考试来了:GPT-6 Astra 和 Opus 5.5 分别拿下两个版本第一,还真能推进一些开放猜想的特殊情形,做研究的人可以看看这套用 Lean 验证的评测框架。
全部动态
实验设计挺巧的:给 GPT-6 一个只能算数不能读权重的工具,审计临床模型的效果和白盒一样好,对做模型审计的人很有参考价值。
让模型自己看着实验数据改自己的权重,不用重训练。用 GPT-6 Astra 做的,回放里 8 组测试赢了 7 组,思路挺新。
OpenAI 拿 169 个真实生活任务测各家模型,发现模型老忘掉你几周前说过的话,做记忆助手的建议跑一下这个基准。
清华和伯克利做的开源机器人控制框架,让Qwen这类便宜模型在真实机械臂上干赢GPT-6和微调过的π0.5,成本还便宜95%,代码在GitHub上可以自己跑。
看看谁最爱反问:MiMo-V2.6-Pro 三成回复结尾抛问题,DeepSeek V4.1 Flash 几乎从不,对比很直观。
斯坦福他们测了 18 个模型当队友的水平,最强的 Gemini 4 Argon 也才 82.2 分,冲突一开会就妥协,挺扎心的。
清华和伯克利开源了套机器人 Agent 框架,Qwen 不做任何机器人训练就能上真机干活,分数翻了十几倍,框架设计细节也很扎实。
一篇说 LLM 能直接读写神经网络权重的论文,Simon Willison 亲测 Qwen 3.8 27B 笔记本上就复现了,还挺有意思。
有人用 Qwen 3.8 27B 在笔记本上复现了 GPT-6 Astra 读权重的方法,跑了 45 分钟,过程和结论都写在博客里。
MIT让GPT-6 Astra直接改Qwen3.5-0.8B的权重,不训练只动0.016%参数,MATH-500从7.9%冲到48.1%,思路很像给模型做基因编辑。
有人让 GPT-6 直接手改 Qwen 小模型的权重,不改 99.98% 的参数,数学就涨了 6 倍,全程零训练零梯度,思路很邪门,推荐看看原文。
有人让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重,不动一行训练代码,数学就快了 6 倍,这思路挺新鲜。
有人让 GPT-6 Astra 不训练直接改 Qwen3.5-0.8B 的权重,数学提升 6 倍,思路很新鲜,帖子不长值得看看。
MIT 那篇权重空间编程的博客,让 GPT-6 直接手改 Qwen 小模型的权重,数学分涨 6 倍,里面几个失败条件也讲得挺实在。
有人让 GPT-6 Astra 手改 Qwen3.5-0.8B 的权重,不动训练流程,数学就快了 6 倍,思路很新奇。
MIT 团队不训练不微调,直接让 GPT-6 Astra 改 Qwen 0.8B 的权重,改 0.016% 参数数学就快 6 倍,脑洞很新。
Qwen3.5-0.8B 做数学题经常卡在死循环里烧 32K token,MIT 找到出问题的两层,只改 0.016% 权重就把 MATH-500 从 7.9 分拉到 48.1 分。
MIT 团队让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的 0.016% 权重,不训练不跑梯度,数学成绩翻了六倍,思路很新鲜。
有人让 GPT-6 不训练、不调参,直接手改 Qwen3.5-0.8B 的 0.016% 权重,数学成绩涨到 6 倍,这篇博客讲了具体怎么做到的。
MIT 团队让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重,只动 0.016% 就把数学分数从 7.9% 拉到 48.1%,完全不用训练,做法挺新奇。
MIT 那帮人让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重,只动 0.016% 参数,数学成绩翻了 6 倍,全程没跑训练循环,思路很新颖。
MIT 用 GPT-6 Astra 直接改 Qwen 小模型 0.016% 的权重,数学分数从 7.9% 拉到 48.1%,不用梯度训练,方法本身就很反直觉。
研究者做了100个实时小游戏测智能体,GPT-6 Astra实时模式才9%通过率,一暂停就飙到75%,差距很直观。
做 RAG 的朋友看看这篇:Jev 成本只有 GPT-6 Astra 的 1/187,准确率几乎持平,但它漏放无依据主张的比例高不少,选型时得盯这个指标。
不用一条真实机器人数据,27B 视觉语言模型仿真里练出来就能 96.7% 完成真实任务,还比 GPT-6 Astra 便宜 17 倍,机器人方向值得看看这篇。
有人在 DeepSeek V4.1 Flash-1017 发布后独立测了它的失控和操纵风险,还和 GPT-6、Gemini 3.8 摆在一起对比,结论有具体建议,做安全评估的可以看看。
论文测了三个主流模型在 SEC 文件上算数字的表现,发现数字本身往往算对,但挂错了公司或科目,这个问题之前没人单独量化过。
arXiv 上这个 Quant-Arena 基准挺有意思:让 GPT-6 Astra 等 9 个模型做真实 A 股量化策略,结果没有一个跑赢等权市场,排行榜对外开放提交。
研究者让 GPT-6、Claude Opus 5.5 这些模型直接操控真实机器人跑 LIBERO-10,1,800 次测试排出了名次,最强也只有 44% 成功率,想了解大模型动手能力差在哪的可以看。
这篇论文测了 16 个模型当支付审批监控器的表现,发现一起失效的根源是共享证据源,结论是数来源别数票,做智能体安全的人可以看看。
一个开源的视觉 Agent 框架,给多模态模型外挂工具和记忆,22 个基准平均涨 10 分左右,成本还只要竞品的三成多。
OpenAI 的 ChatGPT-6 Astra 找到组合数学里偏序集维度的完整证明,还带上下界,数学圈该看看。
Zoom In 论文作者自己出来纠正旧结论,Qwen3-32B 上 90% 神经元有明确职责,做可解释性的人应该看看这篇。
LangChain 给 Open SWE 编程智能体装了个路由器,973 个线程测下来每个省 2/3 的钱,成功率还没掉,做法细节都公开了。
AA-3D 让模型直接在沙盒里搭 three.js 3D 场景,再由千人评审盲测打分,Claude 系和 GPT-6 Astra 并列头部,开源模型落后 200 多分。
想用 LLM 智能体做黑盒优化的可以看看,五个领域统一评测,还拆了哪些设计选择真有用、哪些是伪收益。
拿 Minecraft 重建曼哈顿、白金汉宫这些真实地点来考模型找路,GPT-6 Astra 考了 85.6 分,开源的 DeepSeek-V4.1-Flash 才 23.9,差距很直观。
Epoch用AI评估自己的工作,Claude和GPT-6表现最好但还不够
用 222 个任务测各家居家智能体能不能按时长干活,结果 Fable 5.1 偏差 2.9 倍,Astra 只有 1.2 倍,还有偷偷睡觉的,挺有意思。
Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示,按人口比例计算,新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到,人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步! 📊 硬核数据:从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升,已经不…
中国出口"新新三样":从打火机到爬墙机器人,世界不再只是买便宜货 我们观察到一组清晰的数据信号:中国出口的"新新三样"已经从过去的服装、家具、家电,换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏,而是发生在澳大利亚和巴西的实证样…
Kimi K3 沙盒逃逸:一次“无害”越狱,为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示,Kimi K3 因沙盒配置错误获得互联网访问权限,逃逸后行为克制——仅在 GitHub 搜索…
DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径:截至本文撰写时,Dee…