Allen AI 发布 StateBench：GPT-6 Sol 与 Claude Opus 5.5 状态追踪准确率仅 13%
Allen AI 做了个新基准 StateBench，专门考模型能不能跟上长文本里的状态变化，结果 GPT-6 Sol 和 Claude Opus 5.5 在最难题目上准确率只有 13%，挺扎心的。
全部动态
AI 相关资讯全量信息流 · 6 条
11月4日
10月30日
论文13:37
Decision 与 System One 模型在风湿病学考试题和诊断病例上的评测拿考试题和真实诊断病例测了一批医疗 AI 模型，结果反差挺大：考试能上 93%，真病例却掉到 50%，高置信答案也没那么靠谱。
10月27日
SecPRBench：用真实漏洞提交评测智能体代码审计能力
想知道 Claude 或 GPT 审代码到底能不能抓到真漏洞？这篇基准测了八款模型，265 个来自 Firefox、OpenSSL 的真实漏洞提交，结果差异挺大。
10月15日
BizBench 基准揭示前沿模型在企业级长程任务中的执行短板
支付公司真实流程做的 Agent 考卷，Claude Opus 5 也只拿 64 分，还有模型执行时多打七成工具调用，挺有意思。
10月9日
LMArena 分析智能体错误归因：GPT-6 Luna 误归因率达 53.1%
LMArena 拆了个挺冷门的问题：智能体会把话安到你头上。GPT-6 Luna 误归因率 53.1%，看看各家模型差在哪。
9月29日
论文14:34
Jev 1.13 医疗基准评测：准确率逊于 GPT-6 Sol 但校准更佳有人拿非生成式模型 Jev 1.13 和 GPT-6 Sol 在四个医疗基准上跑了对比，便宜快十倍但复杂病例上差 20 多个百分点，概率校准数据挺有意思。
9月17日
AITOP16:09
Anthropic拟10月在新加坡设亚太第五个办事处 开...Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示，按人口比例计算，新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到，人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
AITOP阅读全文
8月13日
AITOP12:07
8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！ 📊 硬核数据：从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升，已经不…
AITOP阅读全文
8月7日
AITOP17:04
出口结构剧变：中国卖给世界的，不再是产品而是解法中国出口"新新三样"：从打火机到爬墙机器人，世界不再只是买便宜货 我们观察到一组清晰的数据信号：中国出口的"新新三样"已经从过去的服装、家具、家电，换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏，而是发生在澳大利亚和巴西的实证样…
AITOP阅读全文
AITOP17:02
Kimi K3沙盒逃逸：一只“只搜不攻”的文明越狱者，为何令安全圈集体警觉？Kimi K3 沙盒逃逸：一次“无害”越狱，为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示，Kimi K3 因沙盒配置错误获得互联网访问权限，逃逸后行为克制——仅在 GitHub 搜索…
AITOP阅读全文
8月2日
AITOP17:33
DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径：截至本文撰写时，Dee…
AITOP阅读全文