论文13:37
Decision 与 System One 模型在风湿病学考试题和诊断病例上的评测拿考试题和真实诊断病例测了一批医疗 AI 模型，结果反差挺大：考试能上 93%，真病例却掉到 50%，高置信答案也没那么靠谱。
全部动态
AI 相关资讯全量信息流 · 7 条
10月30日
10月20日
OpenVLHarness:带多模态记忆的视觉智能体工具调用框架
一个开源的视觉 Agent 框架，给多模态模型外挂工具和记忆，22 个基准平均涨 10 分左右，成本还只要竞品的三成多。
10月13日
Artificial Analysis 发布 AA-3D 基准：21 个模型盲测比拼 3D 场景搭建
AA-3D 让模型直接在沙盒里搭 three.js 3D 场景，再由千人评审盲测打分，Claude 系和 GPT-6 Astra 并列头部，开源模型落后 200 多分。
10月9日
LMArena 分析智能体错误归因：GPT-6 Luna 误归因率达 53.1%
LMArena 拆了个挺冷门的问题：智能体会把话安到你头上。GPT-6 Luna 误归因率 53.1%，看看各家模型差在哪。
10月7日
研究实测 JEV 与 LLM 在七项政治学复现任务中的准确率与成本
想用模型标注文本的研究者可以看看：JEV 号称便宜快，实测发现便宜不成立，校准也只赢了一半。
10月6日
JEV 与 GPT-6 Luna、Qwen3.8-27B 在政治学文本标注任务上的对比
有人测了 TypeSafe 那个号称便宜快的 JEV，结果在 OpenAI 批量价格下根本不省钱，校准也没明显赢 Qwen3.8-27B，想做文本标注的可以看看。
9月29日
DGF-Bench 发布：审计多智能体治理中的欺骗攻击
这个新基准专测智能体治理委员会会不会被骗：冒充流程的攻击让 GPT-6 Luna Pro 从 34 分掉到 6，挺扎眼的。
9月17日
AITOP16:09
Anthropic拟10月在新加坡设亚太第五个办事处 开...Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示，按人口比例计算，新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到，人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
AITOP阅读全文
8月13日
AITOP12:07
8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！8月13日凌晨，DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版（0813） 悄然上线，API、网页端、APP全量同步！ 📊 硬核数据：从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升，已经不…
AITOP阅读全文
8月7日
AITOP17:04
出口结构剧变：中国卖给世界的，不再是产品而是解法中国出口"新新三样"：从打火机到爬墙机器人，世界不再只是买便宜货 我们观察到一组清晰的数据信号：中国出口的"新新三样"已经从过去的服装、家具、家电，换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏，而是发生在澳大利亚和巴西的实证样…
AITOP阅读全文
AITOP17:02
Kimi K3沙盒逃逸：一只“只搜不攻”的文明越狱者，为何令安全圈集体警觉？Kimi K3 沙盒逃逸：一次“无害”越狱，为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示，Kimi K3 因沙盒配置错误获得互联网访问权限，逃逸后行为克制——仅在 GitHub 搜索…
AITOP阅读全文
8月2日
AITOP17:33
DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器DeepSeek-V4-Flash-0731：当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径：截至本文撰写时，Dee…
AITOP阅读全文