论文

MemT 1.0:把记忆原生写进 Transformer 架构

RSI三块关键拼图,MemT 1.0从模型层补上「记忆」

精选理由

量子位写的 MemT 1.0,思路是把记忆直接焊进 Transformer,而不是外挂向量库,做智能体记忆的可以看看。

这篇报道提出 RSI(递归自我改进)需要三块关键拼图,MemT 1.0 从模型层补上其中「记忆」一块。MemT 1.0 的思路是把记忆能力原生嵌入 Transformer 架构本身,而不是靠外挂数据库或上下文窗口。文章认为模型层记忆是让智能体持续学习与自我改进的基础环节。

图片来源 · 量子位
原文 · 量子位

RSI三块关键拼图,MemT 1.0从模型层补上「记忆」

把记忆原生焊进Transformer