#推理优化

长链推理时 KV 缓存会爆炸，这篇提出用增量 SVD 压到 4-5 倍还能保住准确率，比删 token 的老办法稳，做推理部署的可以看看。

LoopCD让循环Transformer在不增加计算成本的情况下大幅提升解码质量，还能减少计算量。

清华团队推出Mira系统，解决MoE模型在单GPU上的内存瓶颈，预测专家预取让推理速度提升5倍以上。

一帮研究者做了个叫 UniCache 的免训练压缩框架，多模态模型缓存能压 5 倍，长上下文吞吐还能快 1.78 倍，做部署的可以看看。

MoE 推理部署的人可以看看，DeepSeek-V4 和 GLM-5.3 上实测 TTFT 快了近一半，思路是让专家计算别干等慢副本。

vLLM 和 LMCache 里能直接用的 KV 缓存调度优化，快速层容量从 100 GiB 砍到 25 GiB 吞吐基本不掉，还把 p95 首 token 时间降了 48%。

跑 MoE 显存不够的人可以看看：微调路由加专家，Mixtral-8x7B 每层只缓存 4 个专家，取回次数降了 23.7%，速度更快精度还涨。

多智能体跑长任务时每个 LoRA 都重算一遍上下文，这篇论文给了一套免训练的共享方案，提速最高 3.1 倍，做 agent 服务的值得看看实现思路。

跑全双工语音模型的开发者可以看，它把推理速度提到原来的 2.85 倍还省内存，输出结果完全一致。

量化小模型的人可以看看：一个一行搜索就能让输出头 W4 量化的 KL 误差降七成的方法，还附 10.8% 延迟实测。

Kimi K3 在 TPU 上跑到 709 tokens/s，比 GB200 还快，92 个 MoE 层塞进一个 Pallas kernel，做法挺巧，做推理的可以看看。

官方账号vLLM@vllm_project7 个信源在谈原文

一篇改注意力机制的论文：value 不再做投影，改查 token 记忆表，推理还能省显存，做模型结构的可以看看。

arXiv 上一篇讲 KV 缓存的新论文，用本地历史替换当前 token 分支，126M 模型上困惑度降了约 1.4%，做推理优化的人可以看看。

一篇来自 arXiv 的新方法，把记忆机制塞进文本生成，同样的算力下 LiveCodeBench 准确率从 59.9% 提到 66.2%，还能快 3 倍。

KV Cache 省显存的新思路：不看注意力看价值向量偏离度，MATH-500 上比老方法最高多约 20 分。

研究人员发现层丢弃技术能提升大模型训练效率，节省25%计算量，还能加速推理1.5倍。

NVIDIA刚发布PAIR系统，能让本地多设备协同处理AI推理任务，比单机运行更高效。

Aravind Srinivas@AravSrinivas6 个信源在谈原文

LightSeek的TokenSpeed今天支持Qwen3.8了，多节点下比TP16快三成多，跑2.4T大模型延迟更低。

官方账号阿里通义 Qwen@Alibaba_Qwen4 个信源在谈原文

做LLM后训练的朋友可以看看，MISA-T把混合rollout调度做得更精细，吞吐提升明显，而且不牺牲任务效果。