事件专题 ·单一信源

研究:基于惊讶的流式持续学习会大量吸收虚假声明

论文测试了 Qwen2.5-1.5B、Qwen2.5-3B 和 Llama-3.2-3B 三个 LoRA 学生模型在真假混合声明流上的持续学习,发现惊讶驱动的筛选规则几乎会吸收所有植入的谎言,过滤效果与随机选择相当。用 LLM 评审员逐条审核能按其准确率滤除谎言,但评审员过于谨慎,会拒收无来源的真事实。利用原模型自身先验可识别与已知知识矛盾的声明(AUC 0.78-0.83),能节省 43% 的评审调用,但无法区分恶意谎言与同类型事实的合法更新(AUC 0.53)。若存在攻击者无法伪造的可信来源,将矛盾声明路由至证据验证可降低毒化率;当攻击者能为 30% 的谎言伪造匹配来源时,该系统反而比单纯评审更差。

当前结论

这条研究挺反直觉的:靠'惊讶'挑学习内容,模型反而最容易学进谎言。想给 LLM 做持续学习、知识更新的开发者值得看看这四个发现。

2 个信源42° AI 热度最后更新 2026/10/29 11:19:08

证据链

2 个信源
相关来源 1AWS Machine Learning Blog
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。