#KV-cache

共 8 条 · 7 天 2 条 · 30 天 2 条

BSR 1 Cartridges 1 DeepSeek-V4-Flash 1 Inferact 1 Microsoft Research 1 vLLM 1 前缀缓存 1 参数化 1

信息流里打上「KV-cache」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月14日

技巧 Agent 与开发者精选00:29

Agent 流量成推理服务器特殊负载，Inferact 在 vLLM 上做前缀缓存优化

Inferact 的人在讲 Agent 请求为啥跟普通聊天不一样：每轮重发一大段相同前缀，vLLM 的前缀缓存和 KV-cache 复用才是省钱的重点。

#vLLM #Inferact #前缀缓存 #KV-cache

rohanpaul_ai@rohanpaul_ai原文

10月13日

论文 Agent 与开发者03:35

Microsoft Research 发布研究精选：从主动澄清到 KV-cache 内存优化

微软研究院一口气放了六项研究，有让 AI 学会主动问清楚的，有改 KV-cache 省内存的，做机器人和做工程的都能翻翻。

#Microsoft Research #KV-cache #视觉-语言 #机器人

官方账号Microsoft Research@MSFTResearch原文

9月16日

论文 Agent 与开发者精选10:11

论文对比文档存储方式对大模型性能的影响

这篇论文用数据说话，帮你搞清楚给大模型加新知识时，是直接塞进去还是改模型参数更好，特别适合做知识问答或需要快速更新信息的应用。

#Cartridges #KV-cache #参数化 #灾难性遗忘

arXiv cs.AI@Nathanaël Carraz Rakotonirina 等 4 人原文

8月19日

论文多源确认精选11:43

Bounded-State Restoration: 解耦本地恢复与外部状态

DeepSeek团队提出BSR方法，让LLM在极小内存下恢复超大状态，比传统方法高效63倍。

#DeepSeek-V4-Flash #BSR #KV-cache #长上下文

事件专题

arXiv: DeepSeek@Zixuan Li3 个信源在谈原文

7月2日

行业多源确认精选79°05:48

OpenAI通过软件优化将推理成本减半

OpenAI没换硬件，靠软件就把推理成本砍了一半。这对模型成本和用户体验可能都有影响，值得了解。

#OpenAI #推理成本 #KV-cache #量化

事件专题

@koltregaskes@koltregaskes11 个信源在谈原文

6月27日

行业12:03

Manus AI：KV-cache命中率是生产级AI代理最重要的指标

Manus AI的CEO说KV-cache命中率最关键，他们用深度代理优化缓存，搞AI基建的该看看。

#Manus AI #KV-cache #智能体 #缓存优化

Harrison Chase@hwchase17原文

6月24日

论文11:41

CrossPool：分离 KV-Cache 和权重的冷 MoE 模型多 LLM 服务引擎

这篇论文提出了 CrossPool，通过分离权重和 KV-cache 池，能大幅降低冷 MoE 模型的推理延迟，比现有系统快 10 倍以上。

#CrossPool #MoE #KV-cache #推理模型

arXiv cs.LG@Zhuoren Ye 等 7 人原文

6月2日

模型精选12:55

Step 3.7 Flash：从设计之初就追求效率，KV-cache成本大幅降低

Step 3.7 Flash 通过原生效率设计解决了 KV-cache 成本痛点，做智能体应用的开发者可以直接用 Fireworks AI 一键部署，值得试试。

#Step 3.7 Flash #KV-cache #效率优化 #智能体

官方账号阶跃星辰 Stepfun@Stepfun_AI原文