技巧

Together 与 Ollama 详解 prefix caching 如何加速 coding agent 长会话

精选理由

写 agent 的人迟早会踩到会话越长响应越慢的坑。这篇把 harness 和推理引擎两侧各要做什么讲清楚了,比单看官方文档更有操作性。做 coding agent 或长对话应用的开发者直接看。

Together AI 的 Zain Haseeb 与 Ollama 的 Parth Sareen 联合发文,解释 coding agent 每轮都要重发完整对话历史,prefix caching 是保持长会话低延迟的关键。

图片来源 · Together AI
正文

文章指出缓存要真正生效,需要 harness(agent 框架)和 inference engine 两端各自做对事情。这篇内容拆解了每一侧的具体要求,例如请求前缀的稳定性和 KV cache 的复用机制。

对搭建 agent 工作流的开发者来说,这是理解为什么同一模型在不同框架下速度差异明显的实用材料。

原文 · Together AI

coding agents resend the whole conversation on every turn. prefix caching keeps long sessions fast, but only if the harness and the inference engine both do their part.

@zainhas from Together and @parthsareen from @ollama wrote down what each side needs to get right.

https://t.co/o3Ve8Nm9XB

产业坐标与信源核验

本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:prefix caching、coding agent、Together AI、Ollama,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Together AI」(@togethercompute),经 AITOP 多维评分管线结构化提炼。