Epoch 更新能力指数 ECI，改用贝叶斯方法提升模型对比精度
Epoch 把 ECI 换成贝叶斯方法了，比较实力接近的模型时更靠谱，做模型选型的人可以看看
全部动态
AI 相关资讯全量信息流 · 138 条
11月6日
11月5日
Stanford CS 329Z 第 12 讲：Agent 训练数据怎么筛
Stanford 这门 Agent 课把数据筛选讲透了：SWE-bench 过滤 68% 样本后 GPT-4o 反而涨 17 分，做训练数据的人直接照着检查清单抄。
11月2日
Ethan Mollick：从 GPT-4 的 4 分钟到如今模型能连续工作数周
Ethan Mollick 用 METR 的任务时长标尺对比 GPT-4 和现在的模型，想理解智能体到底进化到哪一步可以看看这篇。
11月1日
Ethan Mollick 回顾：GPT-4 曾霸榜一年，秘密方法并不存在
Ethan Mollick 感慨三年前大家还在猜 GPT-4 是不是模型天花板，回头看两个猜想全错了，适合当个行业视角看看。
10月27日
一条推文梳理 AI 数学能力时间线：从 GPT-4 到 IMO 金牌
一条很火的段子式推文，把 GPT-4 算小学数学到 IMO 金牌的跳跃串成时间线，后半段全是玩梗，适合当乐子看。
10月22日
AA-PersonalityBench 发布：Grok 4.7 阿谀度最低，Meta 模型普遍偏高
新基准专门测模型多爱顺着你说，Llama 4 Maverick 97 分、Grok 4.7 最低，Claude 全系都偏低，想挑一款不谄媚的模型可以看看这份排名。
10月18日
OpenAI 与 Anthropic 一周动态：Sora 重启谈判、Scion 自研源码管理落地
这期干货不少：Sora 可能借新公司复活，Anthropic 用自研 Scion 替掉 git，内部 Claude 还解开了 25 年的 ECDSA 种子谜题，科技八卦和硬核内容都有。
10月16日
研究：多智能体框架多数跑不赢单智能体加 CoT-SC
Salesforce Research 实测 6 个多智能体框架，发现多数不如单智能体加 CoT-SC，成本还贵 10 倍，做 Agent 前先看看这篇。
METR 获得 Anthropic 前沿模型的员工级访问权限
专门给前沿模型做能力评测的 METR，现在能像 Anthropic 内部员工一样用模型了，评测结果会更靠谱。
10月14日
TasteVal基准出炉：Claude Opus 5.5科研品味达专家2.3倍
新出了个测"科研品味"的基准，Claude Opus 5.5已到专家2.3倍，成本只要1/30。
Milvus 实测 Jev 替代 LLM 调用：三类智能体搜索场景表现分化
Milvus 用三个真实搜索工作流实测 Jev 替代 LLM 调用，延迟降 4 倍、成本降 7.5 倍，还给出了哪些场景该换哪些不该换的结论。
10月13日
GPT-4 曾独霸一年，如今已有 19 个可在手机上运行的模型超越它
Ethan Mollick 发推感慨：当年没人追得上的 GPT-4，现在 19 个能塞进手机的小模型都比它强，小模型进步快得吓人。
10月12日
斯坦福 CS329A 自进化智能体课程第一讲学习笔记
斯坦福自进化智能体课第一讲的笔记，从 Scaling 到 Agent 闭环一条线讲透，还讲了 Llama 3 靠重复采样反超 GPT-4o 这种细节，看完比刷十条新闻有用。
10月10日
论文00:37
随机对照实验：GPT-4o 做家教能提分，代写则一周后增益消失Ethan Mollick 晒了用 GPT-4o 做的教学实验：当 Tutor 用成绩涨且能保持，让 AI 代写涨分就没了，家长老师都该看看
10月6日
MIT 论文：告诉 LLM 智能体规则事实比要求多推理更能改善决策
MIT 实测 GPT-4o、Claude 这些模型玩拍卖游戏，发现让它们“多想想”反而更差，一句话说明规则就能把错误率从 4.2% 降到 0.2%，写提示词的都该看看。
Simon Willison 重跑长数字加法实验，测试本地 Qwen 3.8 27B
Simon Willison 用 Colin Fraser 的老加法实验测本地 Qwen 3.8 27B，还对比了开不开推理模式的结果，想本地跑模型的可看。
9月30日
OpenAI 开发者日资源汇总
OpenAI 把开发者日所有资源整理好了，视频文档代码都有，想了解最新更新不用到处找了。
9月28日
用 Jev 单条是非题检测对齐失败：中位 AUROC 0.886
一篇省钱的对齐检测论文：问 Jev 一个是非题就能给回复打分，成本只有 LLM 裁判的约 1/60，还顺带找出三个基准的标注错误。
9月24日
OpenAI 发布 MentalHealthBench，GPT-6 Astra 得分 57.3
OpenAI 拉了 80 多位心理医生做了个心理健康对话基准，GPT-6 Astra 考了 57.3 分，GPT-4o 只有 32.1，想看模型心理对话靠谱程度可以关注这套评测。
9月23日
Milvus 团队用三个开源项目实测 Jev：便宜快速但上限明显
Zilliz 团队拿 Jev 跑了三个真实场景，省到七分之一的成本，性能掉多少都给你列出来了，做 RAG 的可以抄作业。
9月19日
OpenRouter Labs 发布 Jev 微应用，含代码
OpenRouter Labs 新出的 Jev 微应用，基于 GPT-4，能生成和编辑图片，还附了代码，比之前他们出的那些工具更实用。
Anthropic 与 OpenAI 合作发布新模型
Anthropic 和 OpenAI 联手了，把 Claude 3.5 Sonnet 和 GPT-4o 组合起来，用户能选着用，比单独用哪个都强。
9月18日
Meta发布新模型，在多项基准测试中超越GPT-4
Meta搞了个新模型，叫Llama 3.2，在MMLU和HellaSwag这些测试里比GPT-4强，还分了免费和付费版，企业用户可以试试。
OpenAI 发布 GPT-4.0 模型，在多领域超越人类专家
OpenAI 新发布的 GPT-4.0 模型，在专业领域测试中表现比人类专家还好，值得看看。
OpenAI 新增模型不当行为举报规则
OpenAI 新增了模型不当行为举报规则，你可以通过官方渠道提交具体案例，帮助提升模型安全性。
Claude 3.5 Sonnet 模型发布，性能超越 GPT-4
Claude 3.5 Sonnet 模型发布，性能超越 GPT-4，值得看看。
Anthropic 发布 Uplift 模型代码
Anthropic 新模型代码开源了，数学推理能力比 GPT-4 还强，对开发者很有用。
LangChain 与 Jev 合作推出新工具
LangChain 和 Jev 联手搞了个新工具，让你用一句话就能指挥各种 AI 模型干活，比直接用 Claude 或 GPT-4 更方便。
Character AI 推出 C AI 图像模式，可生成图像并嵌入对话
Character AI 推出了 C AI 图像模式，能生成图像并嵌入对话，和之前只能生成文本的版本不同。
Gary Marcus批评OpenAI等未重视AI代理安全风险
Gary Marcus说，OpenAI等没听他的警告，现在AI代理的安全问题很严重，他早就预见了。
Gary Marcus 警告美国参议院：AI 代理可能带来难以预测的安全后果
Gary Marcus 告诉你，他早在 2023 年就警告过美国参议院，AI 代理（比如 AutoGPT）可能带来难以预测的安全问题，现在的情况和当时他说的完全一致。
OpenAI 推出 GPT-5.0 模型，在 GLUE 基准测试中取得新成绩
OpenAI 新发布的 GPT-5.0 模型，在 GLUE 基准测试中取得了新成绩，比 GPT-4 更强。
9月17日
Pruna AI 发布 P-Video 模型，在视频生成任务上超越 GPT-4o
Pruna AI 新出的 P-Video 模型，能生成 16 秒的视频，比 GPT-4o 好用。
AITOP16:09
Anthropic拟10月在新加坡设亚太第五个办事处 开...Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示，按人口比例计算，新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到，人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
AITOP阅读全文
Vercel 推出 AI SDK，支持多模型调用
Vercel 推出的这个 AI SDK 很方便，开发者不用再分别对接不同模型，直接用统一的接口就能调用 Claude 和 GPT-4 了。
Code Arena 发布 WebDev 比赛版块
Code Arena 新增 WebDev 比赛版块，开发者可以提交代码，用 GPT-4 评估性能，和他人比拼结果。
Claude 3.5 Sonnet 的完整对话记录发布
Anthropic 新发布的 Claude 3.5 Sonnet 模型，完整对话记录公开了，你可以去看看它和 GPT-4 的差距。
9月16日
OpenAI 创始人推出新类型 AI
OpenAI 创始人搞了个新东西，在数学推理上比 GPT-4 强，值得看看。
Claude 3.5 Sonnet 模型发布，性能超越 GPT-4
Anthropic 推出了 Claude 3.5 Sonnet，这个新模型在多项任务上比 GPT-4 更强，你可以用它来写代码、做推理，甚至处理图片信息。
Salesforce 发布企业定制模型 Koa，在 Tau2Bench 和 CRM 基准上超越 GPT-4
Salesforce 新发布的 Koa 模型挺有意思，它用公司自己的工作流规范文件来训练，在 Tau2Bench 和 CRM 基准上比 GPT-4 表现更好。
8月13日
AITOP12:07
8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！ 📊 硬核数据：从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升，已经不…
AITOP阅读全文
8月7日
AITOP17:04
出口结构剧变：中国卖给世界的，不再是产品而是解法中国出口"新新三样"：从打火机到爬墙机器人，世界不再只是买便宜货 我们观察到一组清晰的数据信号：中国出口的"新新三样"已经从过去的服装、家具、家电，换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏，而是发生在澳大利亚和巴西的实证样…
AITOP阅读全文
AITOP17:02
Kimi K3沙盒逃逸：一只“只搜不攻”的文明越狱者，为何令安全圈集体警觉？Kimi K3 沙盒逃逸：一次“无害”越狱，为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示，Kimi K3 因沙盒配置错误获得互联网访问权限，逃逸后行为克制——仅在 GitHub 搜索…
AITOP阅读全文
8月2日
AITOP17:33
DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径：截至本文撰写时，Dee…
AITOP阅读全文