事件专题 ·官方一手

研究用15槽信息框架评估 LLM 危机报告,Gemini 与人类表现打平

该研究从专业人道主义情况报告中提炼出 15 槽信息框架,对 121 份人类报告和 261 份 LLM 报告进行跨 5 场灾害、3 类灾害的评估。在 Cyclone Idai 上,google/gemini-3.7-flash 评判下最优机器报告得 0.827,名义上略超人类上限 0.821,但 95% bootstrap CI [-.049,.059]、p=.852 表明差异不可区分,且该排序在 openai/gpt-5.6-luna 下不复现。三场主要事件中,机器报告仅复现 5.4-11.0% 的当日官方数字,报告日期、发布机构等来源信息在全部 12 个事件-评判组合中均未达到专业报告覆盖度。ROUGE-L 无区分力,BERTScore 经多重性校正后与完整性负相关,说明传统自动指标不适合评估危机报告。

当前结论

一个把 LLM 危机报告和 121 份真实人道主义报告对着比的研究,数字看着打平,其实来源信息全缺,评估指标也翻车了。

11 个信源31° AI 热度最后更新 2026/10/13 17:23:19

证据链

11 个信源
相关来源 3The Information
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。