技巧

billion-context 开源项目:让模型自己管理编程 Agent 的长会话上下文

精选理由

如果用 Claude Code 跑长会话总被 token 账单或爆窗口卡住,这个开源代理让模型自己决定压缩哪些内容,还能解压找回细节,可以试试。

开源项目 billion-context 架在 Claude Code、Codex、OpenCode、Kimi 等编程 Agent 与模型 API 之间,做上下文压缩代理。它向对话注入 compress、decompress、search_context、acp_status 四个工具,由模型自主决定何时压缩、压缩哪部分。采用局部增量折叠,需要时可解压恢复细节,兼顾节省 token 和保护前缀缓存。实测反馈显示多轮反复压缩后上下文可能走样,出现模型自创缩写,低量化模型下问题更明显。

图片来源 · Lxfater
原文 · Lxfater

最近看到一个叫 billion-context 的开源项目,专门解决 AI 编程长会话爆窗口的问题

它架在编程 Agent(比如 Claude Code、Codex、OpenCode、Kimi 等)和模型 API 之间,做一个上下文压缩代理

和客户端自带的一刀切摘要不同,它的核心思路是“让模型自己管上下文”

代理会往对话里注入四个工具:compress(折叠成摘要)、decompress(按需恢复细节)、search_context(关键词检索)和 acp_status(查看用量与可压缩区间)

什么时候压缩、压哪一部分,都由模型自己调用工具决定

因为是局部增量折叠,需要细节时还能解压回来,所以既能省下不少 token,又尽量不破坏前缀缓存

那实际用起来效果怎么样?

我有个朋友说:让模型自主选择压缩的想法确实挺好,但在实际长会话里还不太稳定

跑到后面经过多轮反复压缩,上下文有时候会被带偏,开始出现一些模型自创的缩写或黑话,可读性和连贯性会往下掉; 如果接的是低量化模型,这种走样的情况会更明显,偶尔还会遇到一些小 bug

如果你平时跑超长编程会话经常被 token 账单或爆窗困扰,可以去试试看,这些工具都要自己尝试

https://t.co/AvUguMFiCM