Absolute(绝对容量)在当前 AI 语境下最常见的指向,是密集联想记忆(Dense Associative Memory)研究中的“绝对容量”概念,即该类网络在理论上能稳定存储和准确检索的记忆模式数量上限。它不同于工程上常说的“经验容量”,而是由能量函数与偏置项结构共同决定的理论边界,直接影响这类模型与 Transformer 注意力机制之间的可比性。
Absolute Capacity 近期进展
当前焦点与观察点
Absolute capacity 研究的核心争议在于:理论容量上限与实际模型可用的有效容量之间差距有多大,以及偏置、激活函数选择等设计因素究竟在什么条件下正向贡献。随着密集联想记忆被重新视为注意力机制的替代或补充框架,这一指标的重要性在上升。
另一个值得观察的方向是成本侧的“绝对”约束。Nvidia 团队的 SoL-Pi 论文 显示,让 AI 自动研究如何为 AI 省 token,结果节省了一半开销;Cursor 团队也公开了把 agent 降本当系统工程来做的方法论。当单任务 token 消耗动辄巨大,理论容量与实际算力、成本上限之间的权衡,正成为绝对容量从纯理论问题走向工程问题的关键节点。