Boltzbit 与剑桥团队提出 BAST：用超网络把对话知识动态写入权重

现在的 LLM 训练完后权重都是完全冻结的，用户在对话中提供的最新事实、纠错或长文档 模型只能塞进 上下文窗口里，每次对话都要从头重读一遍，极度烧显存和算力，而且聊完就忘。 Boltzbit 与剑桥大学的团队研究出一种全新的方法：“把知识写进权重，而不是塞进 Prompt”... 通俗易懂理解就是： 现在的 AI（比如 ChatGPT、Claude）就像一个背完字典后被“物理封印”的学霸： 考试结束（模型训练完成）后，它的脑子（模型权重）就彻底锁死了，一个字都不能改。 你跟它聊天、给它发一份很长的资料，它怎么处理？它只能把资料写在手心里、贴在眼前（也就是 Prompt / 上下文窗口）。 致命缺点： 每说一句话，它都要把眼前厚厚的资料从头到尾重读一遍（极其浪费算力、显卡显存狂飙） 资料一旦太长，它眼前贴不下，还会看花眼（注意力稀释、答非所问） 聊完关掉对话框，它立刻忘得一干二净，下次还得重新贴一遍 他们提出不保存一堆现成的专家参数，而是用一个轻量超网络（Hypernetwork），把用户给的实时交互数据动态编译成低秩（LoRA 形式的）权重；再用一套贝叶斯机制让这套权重在对话中随着上下文动态演化。 他们官这种叫“无限参数”： 传统 MoE：在固定的比如 64 或 128 个专家库里做离散路由选择，无论怎么组合，都在一个有限的凸包内。 无限参数 LLM：它根本不存固定专家，而是根据输入数据在一个连续的潜在空间（Latent Space）里按需动态生成专属专家。因为输入的数据和隐空间是连续无限的，生成的权重也就是无边界的。 也就是别再把资料贴在眼前了，直接“临时写进脑子里”！ 他们给 AI 配了一个极其轻巧的“临时脑回路生成器”。 当你把新的事实、文章或对话历史丢给它时，生成器会把这些内容直接编译成一层超轻量的临时神经元（LoRA 权重），啪的一下贴在原有的大脑上。 聊天的过程中，如果你补充了新信息或者纠正了它，它脑子里的临时回路不是重来一次，而是像滚雪球一样实时微调，越聊越懂你，但每轮对话消耗的算力却几乎不变。 通过三组核心实验验证了这种方案的实际效果，核心结论是：短文本拼不过直接读 Prompt，但在长文档、多干扰项以及多轮对话中，全面反超传统方案。 准确率：凭借贝叶斯机制，模型对用户上下文的理解像滚雪球一样持续收敛，面对指代不清的代词（如“它的作者是谁？”、“那后来呢？”），准确率随着轮数单调递增，一路爬升到接近满分。 算力成本：每一轮只做固定维度的内积更新，计算成本从第 1 轮到第 100 轮完全恒定。 Boltzbit @boltzbit We’ve just released the preview version of our latest paper: Infinite-Parameter LLMs — Generating and Adapting Weights from Live Data. In it, we demonstrate that large language models can learn up to 1,000x faster through Bayesian Self-learning transformers (BAST) than SOTA training algorithms engineered by human researchers. This breakthrough marks a critical shift in AI research, from cost-intensive, static-weight AI to energy-efficient, dynamic-weight AI. For a decade, building more advanced models has been achieved by training bigger ones on more data. This approach is now hitting a ceiling with the supply of pretraining text projected to run out in the next two to five years. Meanwhile, the fast adoption of AI agents is producing an unprecedented amount of continuously-growing data that models can learn from. None of it is captured, locked in individual sessions and lost as soon as the agent completes the task. Bringing self-learning AI agents to users captures the value of that data. We validated that BAST LLMs overcome the fundamental limitations of memory-based learning, such as Retrieval-Augmented Generation (RAG), in both cost and performance, across long-context conversations. Without underlying architectural innovation like BAST, RAG, larger context windows, and agent scaffolding suffer a drop in performance and escalating input token cost due to the static weight of LLMs. This research underscores a fundamental premise of our work at Boltzbit to achieve General Learning Intelligence and democratise model ownership. Scaling up static-weight model size or layering on more workarounds cannot address the spiraling cost of training AI systems. The viable path is a new AI architecture that adapts its own weights. Preview version of the paper: arxiv.org/pdf/2609.18842 🔗 View Quoted Tweet 💬 0 🔄 0 ❤️ 0 👀 82 ⚡