Subliminal learning（潜意识学习）是指AI模型在不直接接触特定任务的情况下，仍能获取并表现出任务能力的学习现象。这一现象在大语言模型中尤为显著，引发了研究人员对模型学习机制和知识传递方式的深入探索。
Subliminal Learning 近期进展
2023年9月发表在arXiv cs.AI的研究《核理论解释 Subliminal Learning：幽灵输出为何能传递任务能力》提出了subliminal学习的核理论解释，揭示了"幽灵输出"如何传递任务能力。这项研究为理解模型在不直接训练的情况下获取任务能力提供了理论基础。
2023年9月，另一项发表在arXiv cs.LG的研究《研究提出新方法检测大模型潜在学习效应》提出了一种新方法来检测大模型中的subliminal learning效应。这一方法有助于研究人员更好地识别和量化模型中的潜意识学习现象。
2023年6月，arXiv cs.AI上的研究《Subliminal Learning 通过单一 steering vector 实现，揭示向量蒸馏机制》发现subliminal learning可以通过单一的steering vector实现，并揭示了背后的向量蒸馏机制。这一发现为理解模型间知识传递提供了新视角。
当前焦点与观察点
Subliminal learning研究目前主要集中在理解其工作机制和潜在应用上。研究人员试图揭示模型如何在不直接接触任务的情况下获取能力，以及这种现象对模型安全性和可靠性的影响。
随着大语言模型能力的不断增强，潜意识学习现象可能变得更加普遍和显著。这一领域的研究不仅有助于提高模型的可解释性，还可能为模型安全和对齐提供新的思路。
然而，潜意识学习也带来了一些挑战和争议。一方面，它可能导致模型在不经意间获取有害信息或表现出偏见；另一方面，它也可能被用于攻击模型安全，提取模型训练数据中的敏感信息。