MemOS 团队发布记忆原生大模型 MemT 1.0,记忆写入变成模型能力
国内 MemOS 团队把记忆做进模型本体,256K 历史只占 40 MiB,还能积累经验复用,路线挺特别。
MemOS 团队发布 MemT 1.0,定位为记忆原生大模型,采用记忆原生 MoE 架构,把记忆的写入、更新和读取放进模型计算过程,而非外部检索。在 11 个记忆基准上平均超过参数化记忆基线,通用能力基本不降。历史长度 128K 时 Nano 端到端推理提速约 1.86 倍,持久存储比全量 KV Cache 小 66 倍;256K 历史下全上下文约占 5 GiB,Nano 只要 40 MiB。编程 Agent 场景下,内化经验后在 SWE-bench Verified 和 SWE-bench Multilingual 上的成功率和一致性超过无经验 Agent。提供两个尺寸:Nano 36B 总参数 3B 激活,Flash 288B 总参数 17B 激活。
卧槽,全球首个记忆原生大模型发布,来自咱国内团队!
做这件事的是开源记忆操作系统 MemOS 的团队 @MemOS_dev。 从 2024 年的记忆分层大模型 Memory,到 2025 年开源的 MemOS,他们一直在死磕「记忆」这件事。
昨天,他们把记忆直接做进了模型本体:MemT 1.0。
过去让模型变强,靠的是更多参数、更多数据、更长上下文。 MemT 1.0 走的是另一条路:让「记住、更新、调用经验」本身,成为模型可以学习的能力。
两个看点:
① 架构创新:记忆操作进入模型计算过程 采用记忆原生 MoE 架构,把历史信息编码成持续存在、可更新的内部记忆状态。 记忆的写入、保持、更新和读取,全部发生在模型的计算里,而不是挂在模型旁边的外部检索。
📊 在 11 个记忆基准上,平均表现超过参数化记忆基线,通用能力基本没有掉。 📊 历史长度 128K 时,Nano 端到端推理提速约 1.86 倍,持久存储比全量 KV Cache 小 66 倍。 📊 记忆状态大小固定,交互再多也不会膨胀:256K 历史下全上下文要占约 5 GiB,Nano 只要 40 MiB。
结果就是:模型能自我反思、自我进化,长程任务保持一致,不跑偏。
② 经验复用:有效反馈作用于后续任务 在内部记忆的基础上,MemT 1.0 从真实任务的交互、指导和纠错中积累经验,并在后续相关任务里复用。 同样的错,不用再教第二遍。
📊 用在编程 Agent 上,把过往经验内化进原生记忆后,在 SWE-bench Verified 和 SWE-bench Multilingual 上,任务成功率和多次运行的一致性都超过无经验的 Agent,效果和显式文本经验相当。
📊 团队内部的 Coding、Working 测试中,性能提升超过 5%。
两个尺寸: · Nano:36B 总参数,3B 激活,10M 动态记忆 。 ·Flash:288B 总参数,17B 激活,336M 动态记忆 训练数据 34B tokens。
「今天正确的经验,会成为明天的能力。」
这句话值得读两遍。没有积累,就没有递归。留不住的进步,成不了下一轮的起点。
参数决定模型的起点,记忆决定它能长多高。
模型地址:https://t.co/mEBRwcsZnr