#KV Cache

共 14 条 · 7 天 2 条 · 30 天 7 条

推理优化 3 推理模型 2 智能体 2 长上下文 2 AI推理 1 BF16/FP32 1 DeepSeek 1 GSM8K 1

信息流里打上「KV Cache」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月15日

论文 Agent 与开发者12:50

MultiAlloc 提出预算感知的 KV Cache 量化精度分配框架

一篇解决 LLM 推理内存痛点的论文：MultiAlloc 在固定显存预算下自动决定 KV Cache 量化精度怎么分，比现有逐层和逐 token 方法都省心。

#KV Cache #量化 #推理优化 #Mistral

arXiv: DeepSeek@Yangchengyu Zhou 等 8 人原文

10月12日

行业20:56

消息称三星电子开发 zNAND-T 与 zNAND-I 闪存，分别优化吞吐量与随机性能

三星给 AI 数据中心做定制闪存了：zNAND-T 拼带宽对标 HBF，zNAND-I 专攻 KV Cache 这种高频小数据读写，思路挺有意思。

#三星电子 #zNAND #NAND闪存 #HBF

IT之家原文

9月29日

论文 Agent 与开发者13:30

PReCache：免训练的 KV Cache 共享框架，多 LoRA 智能体 TTFT 提速最高 3.1 倍

多智能体跑长任务时每个 LoRA 都重算一遍上下文，这篇论文给了一套免训练的共享方案，提速最高 3.1 倍，做 agent 服务的值得看看实现思路。

#PReCache #LoRA #KV Cache #智能体

arXiv cs.LG@Hyesung Jeon 等 3 人原文

9月24日

模型 Agent 与开发者多源确认精选73°16:30

小米公开 MiMo-V3 核心架构 HySparse2，优化长程多轮 Agent 推理效率

小米把 MiMo-V3 的注意力架构拆开讲了：KV Cache 提前生成、Prefill 少跑一半层数，跑 Agent 时长上下文检索更省更准，细节都在官方这篇说明里。

#MiMo #小米 #稀疏注意力 #KV Cache

事件专题

IT之家4 个信源在谈原文

产品 Agent 与开发者官方一手精选73°10:01

华为发布 OceanStor M900：PB 级共享 KV 缓存存储，NPU 到 SSD 访问约 60 微秒

华为新出的 KV 缓存存储，PB 级共享池加 60 微秒直读，推理集群能省不少重复计算。

#Huawei #OceanStor #KV Cache #推理基础设施

官方一手pandaily@[email protected] (Pandaily)原文

9月22日

模型 Agent 与开发者多源确认79°21:35

SGLang × Qwen × NVIDIA 三方合作：用 NVFP4 KV Cache 突破长上下文与 Agentic 推理瓶颈

SGLang、Qwen和NVIDIA联手推出NVFP4 KV Cache，4-bit精度下1.78倍容量提升，长上下文推理提速近80%。

#SGLang #Qwen #NVFP4 #KV Cache

事件专题

shao__meng@shao__meng9 个信源在谈原文

论文 Agent 与开发者10:31

ValueDiff：按价值向量偏离度淘汰 KV Cache，弱汇聚模型也能省显存

KV Cache 省显存的新思路：不看注意力看价值向量偏离度，MATH-500 上比老方法最高多约 20 分。

#ValueDiff #KV Cache #推理优化 #长上下文

arXiv cs.AI@Junyoung Park 等 3 人原文

9月11日

模型中美对照多源确认精选78°15:47

DeepSeek V4.1 Flash 发布，V4 Pro 计划下线

DeepSeek 直接把自家旗舰 V4 Pro 下线了，换成 V4.1 Flash，说明新模型确实更强，对开发者来说，用 V4.1 Flash 能省不少钱，尤其是处理长上下文和频繁调用的时候。

#DeepSeek #V4.1 Flash #推理模型 #KV Cache

事件专题

掘金本周最热@码事漫谈3 个信源在谈原文

9月1日

行业精选73°09:48

英伟达重启Rubin CPX推理芯片项目

英伟达重启并大幅调整Rubin CPX推理芯片，专为处理AI推理中超过50%的KV Cache负载设计，2027年量产。

#Rubin CPX #英伟达 #AI推理 #KV Cache

IT之家原文

8月6日

论文09:20

潜在通信何时有效：多智能体LLM中继KV缓存的因果审计

这篇论文给出了一套错配缓存审计法，对比LatentMAS、KVComm、C2C后发现，基准涨分不等于真在传潜在思维。

#KV Cache #多智能体 #Qwen3 #GSM8K

arXiv cs.LG@Jiaming Cheng 等 3 人原文

7月31日

论文12:21

阶段重放分歧跟随KV缓存：固定前缀精度控制与双向缓存移植

用Qwen2.5做200组实验：BF16有166处分歧，FP32无分歧；移植48层KV缓存后分歧跟随供体。

#Qwen2.5 #KV Cache #推理模型 #缓存移植

arXiv cs.LG@Alexander Boesgaard Lorup原文

6月26日

模型中美对照73°07:03

华为与湖北移动完成AI推理加速方案现网测试，长序列吞吐率提升372%

华为和湖北移动搞了个AI推理加速实测，长序列场景下吞吐率最高翻了近4倍，GLM-5.1模型128K序列表现尤其猛。

#华为 #UCM #昇腾A3 #长序列推理

IT之家原文

6月12日

行业精选13:22

GLM-5 大规模部署中的 Scaling Pain 调试与优化

大模型从实验到生产，Scaling Pain 是绕不过的坎。做推理部署的工程师，这篇博客里的 KV Cache 竞态和 HiCache 同步问题很可能你也会遇到，建议直接收藏。

#GLM-5 #Scaling Pain #推理部署 #KV Cache

官方账号Z.ai (智谱国际)@Zai_org原文

5月25日

产品83°02:06

DeepSeek：美国最后悔没封杀的中国AI公司，用算法创新重塑硬件生态

DeepSeek 用算法创新打破了 GPU 禁运的困局，做长上下文 Agent 的开发者可以直接用 V4 Pro 体验成本暴降的效果，做硬件生态的团队值得研究其开源架构。

#DeepSeek #MoE #KV Cache #开源/仓库

berryxia@berryxia原文