i14 Labs 发布 Sugar Glider 架构:固定 KV cache 支撑长上下文智能体
i14 Labs 新发的 Sugar Glider 把 KV cache 做成固定大小,100 万 token 上下文下单机吞吐能到基线的 32 倍,部署时还能调记忆大小不用重训。做长跑 agent 的开发者值得看,尤其是一直被上下文裁剪和推理成本折磨的团队。
i14 Labs 新发的 Sugar Glider 把 KV cache 做成固定大小,100 万 token 上下文下单机吞吐能到基线的 32 倍,部署时还能调记忆大小不用重训。做长跑 agent 的开发者值得看,尤其是一直被上下文裁剪和推理成本折磨的团队。