Associations(关联/联想关系)在机器学习语境下通常指模型内部将不同概念、知识或信号绑定在一起的映射关系,例如大语言模型中词与词、事实与事实之间的知识关联,或组合学习问题中多个动作与奖励之间的结构性联系。它是理解模型记忆、遗忘与泛化能力的一个基础概念,近年随着模型遗忘和组合强化学习研究升温而受到更多关注。
Associations 研究近期进展
当前焦点与观察点
目前围绕 associations 的研究主要有两条线:一是大模型的知识关联遗忘,即如何精准删除特定关联而不影响相邻知识,这在隐私合规(如被遗忘权)场景下有直接需求,但评估“遗忘是否彻底、是否误伤”仍缺乏公认标准;二是组合决策学习中对关联结构的显式建模,通过图结构或可分离信号降低学习复杂度。
值得关注的观察点包括:强化学习式去学习是否会成为机器遗忘的主流范式;知识 associations 的刻画粒度(token 级、三元组级还是行为级)如何统一;以及遗忘后的模型是否可能出现隐性能力退化。这些问题的答案将直接影响模型编辑与隐私合规技术的落地节奏。