事件专题 ·官方一手

BMMS 评测套件:按具体政策条款衡量语言模型行为合规性

arXiv 论文提出 Behavioral Misalignment Metric Suite(BMMS),以任意政策文本为输入,输出该系统的合规画像,核心指标包括 Compliance Attainment Score(CAS)与 Compliance Robustness Margin(CRM)。指标需通过以归因为判据的准入测试,套件据此剔除了自身的一个指标。在来自 11 份文档的 1,003 条义务上,准入判据对厂商规范的盲评精确率达 94.4%,对分析类指南为 50.0%。实测显示,GPT-4o 在 OpenAI Model Spec 的硬性约束上失败 70.7%,而两款 Claude 模型分别失败 0.0% 和 9.1%。

当前结论

这篇论文做了个叫 BMMS 的合规评测:把 OpenAI、Anthropic 自己写的规范当考卷,结果 GPT-4o 70.7% 的硬约束没过,Claude 几乎全过,挺有意思。

11 个信源41° AI 热度最后更新 2026/11/6 08:24:58

证据链

11 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。