MemOS 发布记忆原生模型 MemT 1.0,Flash 版 288B、Nano 版 36B
MemOS 出了个把记忆直接做进模型层的 MemT 1.0,不用带着全部聊天记录也能记住之前的事,速度还快 1.86 倍,修代码成功率也涨了。
MemOS 团队发布 MemT 1.0,含 288B 的 Flash 版和 36B 的 Nano 版两个规格。它在模型层内置记忆读写模块,把历史对话写入一组数值状态,生成时直接读取,无需把整段聊天记录放进上下文。论文数据显示,128K 历史长度下,Nano 版端到端速度约为完整上下文方案的 1.86 倍,持久状态存储约为原来的 1/66。在 SWE-bench Verified 上,任务前注入历史编程经验后,平均成功率从基座的 66.07% 提升到 69.33%。GitHub 仓库还演示了清空对话上下文后恢复记忆并回答之前问题的流程。
MemOS 团队 @MemOS_dev 最近发布了记忆原生大模型 MemT 1.0
一共两个版本:Flash 版288B,Nano 版36B。
这个写模型的特别之处:它把记忆做进模型层,尝试让 AI 不必反复带着整段聊天记录,也能利用过去的信息和经验。
平时和 AI 聊天,常见做法是把之前的对话继续放进上下文,模型才能接着聊。聊得越多,要处理的历史也可能越长。 就像有人和你聊天,每次开口前,桌上都回忆起之前的和你说过的每一句话一样🤣
但MemT 则多了一套内部记忆读写模块,把历史信息写进一组数值状态,生成回答时直接读取。 可以理解成:把旧材料整理成笔记,后面做事时接着参考。
GitHub 仓库还演示了保存记忆、清空对话上下文,再恢复记忆回答之前的问题。 简单的说,做到了,清除之前聊天记录,也有记忆!!
这个有什么用呢?
我们先看论文里面的测试数据,128K 历史长度下,Nano 相比完整上下文方案,端到端速度约为1.86倍,单条任务的持久状态存储约为原来的1/66。
这也意味着:模型变得更快,消耗的 token 更少了,这点优化特别好,相当于大模型提升速度,还降价了。
更有意思的是,这份记忆用来指导任务还有奇效。
研究团队从历史编程任务中提炼经验,检索后写进模型记忆,再让它修新的代码问题。
在 SWE-bench Verified 的任务开始前注入经验设置下: 平均成功率从无经验基座的66.07%提高到69.33% 在论文的 Django 案例里,带着经验的 Agent 在首次修改后,又检查边界条件、纠正实现并做验证。
我们现在用模型都是为了提效,但模型速度太慢,老是绕弯路的话,那还不如人来呢?
我挺看好这个方向:
因为它能把之前交代背景、纠正错误的经验保存下来,那么下次就对话,有机会少重复解释、少走弯路。
说了这么多,附上模型的地址,感兴趣可以去看看!!
https://t.co/B7Sk2W5XYL