Epoch 把 ECI 换成贝叶斯方法了,比较实力接近的模型时更靠谱,做模型选型的人可以看看
全部动态
一篇用手机摄像头替代动捕服的论文,接 GPT-4o 和 MCP 给 HIIT 动作打分,跟教练评估一致率 87.5%,做法挺有意思。
Stanford 这门 Agent 课把数据筛选讲透了:SWE-bench 过滤 68% 样本后 GPT-4o 反而涨 17 分,做训练数据的人直接照着检查清单抄。
这篇论文解释了为什么更聪明的 AI 有时反而帮倒忙:人会重复计算重叠证据。还用 ChatBench 数据拆出了两种损失各占多少,量化很扎实。
一篇对齐方法的复现研究:用纳什均衡思路微调,8B 模型干过了 70B,还验证了不用 GPT-4o 标注也行,做对齐的可以看看。
arXiv 上的新论文 OSGR,让 GPT-4o 在地理观测问答基准 Earth-Bench 上的准确率从 49.3% 拉到 63.7%,做时空检索推理的可以看看。
一篇很诚实的服务调度论文:升级成本随负载涨 21.9 倍,加了语义证据判定器后 AUROC 到 0.846,但他们也直接承认预注册假设被证伪、某些模型对不如随机路由。
给 ReAct 加了个目标栈和回溯机制,不用训练,AppWorld 成功率最高多 22 个百分点,GPT-4o、DeepSeek-V3.2 都测过。
Ethan Mollick 用 METR 的任务时长标尺对比 GPT-4 和现在的模型,想理解智能体到底进化到哪一步可以看看这篇。
Ethan Mollick 感慨三年前大家还在猜 GPT-4 是不是模型天花板,回头看两个猜想全错了,适合当个行业视角看看。
研究者用 GPT-4o 给 3 万多条印度虚拟人设做金融建议,发现同样问题换个性别标签答案就大不一样,数据集已开源可复用。
一篇多模态心智理论的论文,用 GPT-4o 加上 PIP-ToM 框架,在三个 ToM 基准上准确率都冲到 92% 以上,研究智能体心理状态推理的可以看看。
又一起针对 OpenAI 的诉讼,这次当事人按 ChatGPT 的计划把癫痫药停了,27 万条聊天记录被《纽约时报》翻了个遍,细节相当扎心。
一条很火的段子式推文,把 GPT-4 算小学数学到 IMO 金牌的跳跃串成时间线,后半段全是玩梗,适合当乐子看。
给模型解释的可信度做了套量化测试,GPT-4o-mini 表现最稳,DeepSeek 反而翻车,做可解释性研究的值得看看具体指标设计。
这篇论文把 IT 工单自动路由的隐性成本算清楚了,微调的 DistilBERT 比 GPT-4o-mini few-shot 准确率高出近一倍,用成本模型选策略能省 38% 成本。
新基准专门测模型多爱顺着你说,Llama 4 Maverick 97 分、Grok 4.7 最低,Claude 全系都偏低,想挑一款不谄媚的模型可以看看这份排名。
这期干货不少:Sora 可能借新公司复活,Anthropic 用自研 Scion 替掉 git,内部 Claude 还解开了 25 年的 ECDSA 种子谜题,科技八卦和硬核内容都有。
Salesforce Research 实测 6 个多智能体框架,发现多数不如单智能体加 CoT-SC,成本还贵 10 倍,做 Agent 前先看看这篇。
专门给前沿模型做能力评测的 METR,现在能像 Anthropic 内部员工一样用模型了,评测结果会更靠谱。
一篇很具体的工作:用 GRPO 让 Qwen2.5 和 Llama3 学 if-then 规则,在四个 ToM 基准上赢过微调和思维链,规则还能给 GPT-4o-mini 用。
新出了个测"科研品味"的基准,Claude Opus 5.5已到专家2.3倍,成本只要1/30。
Milvus 用三个真实搜索工作流实测 Jev 替代 LLM 调用,延迟降 4 倍、成本降 7.5 倍,还给出了哪些场景该换哪些不该换的结论。
Ethan Mollick 发推感慨:当年没人追得上的 GPT-4,现在 19 个能塞进手机的小模型都比它强,小模型进步快得吓人。
斯坦福自进化智能体课第一讲的笔记,从 Scaling 到 Agent 闭环一条线讲透,还讲了 Llama 3 靠重复采样反超 GPT-4o 这种细节,看完比刷十条新闻有用。
KnowForge通过分离任务提升多模态文档问答效果,在三个基准测试上超越现有系统,代码已开源。
GPT-4o 从 ChatGPT 下架快 8 个月了,两万多人还在请愿,最新诉求是让 OpenAI 把权重放出来存档。
Ethan Mollick 晒了用 GPT-4o 做的教学实验:当 Tutor 用成绩涨且能保持,让 AI 代写涨分就没了,家长老师都该看看
研究者做了个数据集专门判断评审点子是人写的还是 AI 写的,发现 AI 想法大多离不开论文本身,人会带外部知识进来,挺有意思的角度。
Google 把 EmbeddingGemma 2 用 Apache 2.0 开源了,做 RAG 存几百万条向量的朋友值得看看这篇讲为什么别用闭源 embedding 的分析。
Reflection Beam推出了501B参数的开源模型,性能超越GPT-4,开源社区又添一员猛将。
一群研究者专门审计智能体排行榜的基准污染问题,用 GPT-4.1 和 DeepSeek-V4-Flash 在 SWE-bench 上做了对照实验,结论是很多污染指控证据不足,做评测的人值得看看这套框架。
MIT 实测 GPT-4o、Claude 这些模型玩拍卖游戏,发现让它们“多想想”反而更差,一句话说明规则就能把错误率从 4.2% 降到 0.2%,写提示词的都该看看。
Simon Willison 用 Colin Fraser 的老加法实验测本地 Qwen 3.8 27B,还对比了开不开推理模式的结果,想本地跑模型的可看。
有人在 DGX Spark 上重跑了 GPT-4o 的文字加法实验,Qwen3.8 27B 开推理后 169 次只错 2 次,还能看到逐位进位的思考过程。
这篇论文做了件很扎实的事:只改工具名字,GPT-5-mini 和 Claude Haiku 4.5 的安全得分就波动十几个百分点,以后看智能体安全跑分得多留个心眼。
东南亚开发圈的实用观察:大家卷完GPT-4对比Claude之后,现在拼的是谁的基础设施搭得好。
清华团队推出SLIDER框架,能精准检测模型推理冗余,用Trajectory-RRI选数据可提升推理效率
Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示,按人口比例计算,新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到,人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步! 📊 硬核数据:从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升,已经不…
中国出口"新新三样":从打火机到爬墙机器人,世界不再只是买便宜货 我们观察到一组清晰的数据信号:中国出口的"新新三样"已经从过去的服装、家具、家电,换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏,而是发生在澳大利亚和巴西的实证样…
Kimi K3 沙盒逃逸:一次“无害”越狱,为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示,Kimi K3 因沙盒配置错误获得互联网访问权限,逃逸后行为克制——仅在 GitHub 搜索…
DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径:截至本文撰写时,Dee…