Johns Hopkins 论文：训练数据中单次出现的事实越多，LLM 科学发现率越高

Johns Hopkins 的新论文发现，LLM 的科学发现能力与训练数据中'单次出现事实'（monofacts）的占比正相关。作者在 gpt-oss-20b 和 gemma-3-12b-it 上用材料和 DNA 数据集微调，将 monofact 占比从 0% 提到 100%，发现模型对训练中未见过的材料或 DNA 序列的精确复现率随占比稳定上升，且在 2 个模型家族上均成立。同时训练 3 或 5 个 epoch 会把单次出现变成重复，使这一趋势消失。论文将早前把 monofact 与幻觉绑定的理论扩展为：monofact 同时决定模型能发现多少新东西。