主要来源rohanpaul_ai
查看原文事件专题 ·多源确认
OpenAI 发布 MedChemBench:药物化学基准,GPT-6.2 Astra 得分约 84%
OpenAI 发布了药物化学基准 MedChemBench。题目来自 117 篇论文和专利,覆盖 761 个已评分的分子结构,并扣留研究者后续报告的实验结果作为答案。每个 prompt 停在一个真实的决策点,提供生物靶点、已合成的化合物和部分实验测定结果。表现最好的模型 GPT-6.2 Astra 总分约 84%,在读化学结构方面接近满分,但在真正关键的合成决策上正确率只有一半左右。 MedChemBench 的设计思路是把题目锚定在真实研究过程里:模型先读懂已有的化学证据,再对下一步该做什么做出判断。测试通过隐藏论文中后来才公布的结果,避免了模型靠记忆背答案,从而更接近真实研发场景中的信息不对称状态。分数结构也刻意区分了两种能力——读取和解释化学信息是一回事,在不确定条件下做出合成路线决策是另一回事。 对制药和 AI 从业者来说,这个基准提供了一个可比较的标尺:即便最强模型在解读层面接近完美,决策层面的约 50% 正确率说明药物化学的自动化决策仍远未达到可直接依赖的水平。
当前结论
OpenAI 拿 117 篇论文和专利的 761 个分子出了个药物化学基准,还把实验结果藏起来防背题。GPT-6.2 Astra 读化学接近满分,但关键决策只有一半对。做药物研发或想评估模型科学能力的人可以看看题目设计。
11 个信源53° AI 热度最后更新 2026/11/20 21:17:59
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。