billion-context:节省上下文的Agent长会话插件
在客户端和模型之间加了层代理,靠 compress、decompress 这些工具让模型自己压缩旧对话,100K 窗口能跑一个月、几十亿 token,token 花销降到五分之一。做长会话 Agent 或 chat 应用的开发者可以直接去 GitHub 看实现。
在客户端和模型之间加了层代理,靠 compress、decompress 这些工具让模型自己压缩旧对话,100K 窗口能跑一个月、几十亿 token,token 花销降到五分之一。做长会话 Agent 或 chat 应用的开发者可以直接去 GitHub 看实现。