Agent 流量成推理服务器特殊负载，Inferact 在 vLLM 上做前缀缓存优化
Inferact 的人在讲 Agent 请求为啥跟普通聊天不一样：每轮重发一大段相同前缀，vLLM 的前缀缓存和 KV-cache 复用才是省钱的重点。
#前缀缓存
共 2 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「前缀缓存」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月14日
7月8日
MistralAI 模拟中训练模型：40万轨迹、22倍 token 减少、CISPO 在线 RL
MistralAI 搞了个模拟训练，40万轨迹加前缀缓存省了22倍 token 还出了新算法 CISPO，速度和质量都提上去了。
