Associations

general · 首次出现 2026-06-15 · 最近出现 2026-11-02 · 累计提及 9

综述

Associations(关联/联想关系)在机器学习语境下通常指模型内部将不同概念、知识或信号绑定在一起的映射关系,例如大语言模型中词与词、事实与事实之间的知识关联,或组合学习问题中多个动作与奖励之间的结构性联系。它是理解模型记忆、遗忘与泛化能力的一个基础概念,近年随着模型遗忘和组合强化学习研究升温而受到更多关注。

Associations 研究近期进展

  • What Should LLMs Forget: Reinforcement Unlearning of Knowledge Associations:这篇 arXiv 论文提出用强化学习方法实现大语言模型的知识“去学习”(unlearning),核心对象正是模型中的知识 associations。与传统的梯度反转类遗忘方法不同,该工作把“模型应该遗忘哪些关联”本身作为问题提出,试图在删除特定知识关联的同时尽量不损伤模型其余能力。
  • Graph Structured Combinatorial Semi-Bandit with Nonlinear Reward Associations through Separable Signals:在组合半 bandit 场景下,该研究处理的是动作与奖励之间的非线性 associations。作者利用可分离信号刻画图结构上的关联关系,属于关联结构建模在决策学习中的应用方向。
  • 相关讨论也出现在技术社区:2026 09 20 HackerNews 等每日热帖汇总中,模型记忆机制与去学习话题多次进入视野,反映这一方向在工程社区同样有讨论度。
  • 当前焦点与观察点

    目前围绕 associations 的研究主要有两条线:一是大模型的知识关联遗忘,即如何精准删除特定关联而不影响相邻知识,这在隐私合规(如被遗忘权)场景下有直接需求,但评估“遗忘是否彻底、是否误伤”仍缺乏公认标准;二是组合决策学习中对关联结构的显式建模,通过图结构或可分离信号降低学习复杂度。

    值得关注的观察点包括:强化学习式去学习是否会成为机器遗忘的主流范式;知识 associations 的刻画粒度(token 级、三元组级还是行为级)如何统一;以及遗忘后的模型是否可能出现隐性能力退化。这些问题的答案将直接影响模型编辑与隐私合规技术的落地节奏。

    相关报道

    10 条在档