OpenDocRouter 为 LightOnOCR-3-1B 等开源 OCR 模型加入投机解码加速
LlamaIndex 给 OpenDocRouter 上的 OCR 模型加了投机解码，LightOnOCR-3-1B 跑得更快了，做文档识别的可以去测速。
#推理优化
共 169 条 · 7 天 24 条 · 30 天 62 条
信息流里打上「推理优化」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月20日
Deepgram 将 Nova-3 语音模型迁移至 AWS Trainium2 优化推理
Deepgram 把自家 Nova-3 语音模型搬到 AWS Trainium2 芯片上跑，讲了移植细节、kernel 调优和成本数据，做语音推理的可以看看。
vLLM 双向 KV 缓存传输降低多轮智能体首 token 延迟
如果你在跑多轮 Agent 服务，这篇讲 vLLM 的 KV 缓存跨节点复用，Qwen3-32B 和 GLM-5-FP8 实测 TTFT 快了 1.6 到 3.3 倍，附部署细节。
vLLM 引入 push-based NIXL 连接器，分离式推理 TTFT 提升最高 3 倍
AWS 给 vLLM 的分离式推理换了种 KV cache 传输方式，首 token 延迟最高快 3 倍，做推理部署的可以看看怎么配。
10月19日
SenseTime SenseCore 公布 Prefill/Decode 分离集群推理架构
SenseTime 在 CSDI Summit 上讲了 Prefill 和 Decode 分离部署的做法，用 KV Cache 连接，单次测试吞吐量提升约 5 倍，做推理部署的可以看看。
10月18日
斯坦福 CS336 第 10 讲：从数学主线讲透 LLM 推理优化
Percy Liang 把 KV cache、GQA、投机采样这些推理优化串成一条数学主线，讲义公式全用 sympy 可验证，想搞懂推理为啥慢的必看。
vLLM 团队实现 Kimi K3 在 NVIDIA GB300 NVL72 上 842 tokens/s 解码
vLLM 和 NVIDIA 把 Kimi K3 推理速度干到了单批 842 tokens/s，还公开了完整 kernel 实现和评测细节，做推理优化的可以细看。
10月17日
Perplexity 推出 pplx-decider-flash，输入定价每百万 token 仅 1 美分
Perplexity 出了个 pplx-decider-flash，输入每百万 token 只要 1 美分，做路由、判断这类决策场景成本压到极低，还承诺继续优化缓存。
NVIDIA 宣布 ReflectionAI 模型推理吞吐量从 70K 提升至约 90K
NVIDIA 工程师又把 ReflectionAI 的吞吐量从 70K 拉到约 90K 了，跑 Hugging Face 部署的可以看看这次优化细节。
10月16日
GLM-5.3 长上下文服务优化：远程 KV 缓存分片与异步加载实践
给做大模型推理服务的同学：GLM-5.3 上远程 KV 缓存反而把 p99 拖到 83 秒的踩坑实录，还给了带宽阈值公式和修复方案。
RoLaQ：面向 2-bit KV 缓存的旋转与范围联合校准方法
论文提出 RoLaQ，让 MLA 模型的 KV 缓存压到 2-bit，在 DeepSeek-V2-Lite 上吞吐提升 2.51 倍，做长上下文推理的可以看看。
10月15日
MultiAlloc 提出预算感知的 KV Cache 量化精度分配框架
一篇解决 LLM 推理内存痛点的论文：MultiAlloc 在固定显存预算下自动决定 KV Cache 量化精度怎么分，比现有逐层和逐 token 方法都省心。
Step 5 Preview 发布当天即获 vLLM 支持
StepFun 新模型 Step 5 Preview 上线当天就能在 vLLM 上跑，稀疏注意力加 MoE，Blackwell 和 Hopper 都能部署，附内核实测数据。
10月14日
Anyscale 网络研讨会：用 Ray Serve 构建可扩展的分布式推理系统
Anyscale 要开讲 Ray Serve 推理系统设计了，从 KV cache 优化到 MoE 扩展都讲，还教你算自建 GPU 和 API 计费哪个便宜。
10月13日
CoreWeave Forge 将投机解码优化流程整合到单一环境
CoreWeave 讲了个真事：优化 Kimi K2.6 推理速度靠工程师熬夜手动切换训练和评估，现在 Forge 把这套投机解码流程自动化了。
AWS 优化 Amazon SageMaker AI 上的 MoE 内核，吞吐量提升 10%
AWS 工程师公开了 MoE 推理内核的三项优化技巧，在 H200 上吞吐量提升 10%，做推理部署的可以参考。
ReplaySSM 优化 Mamba2 推理：vLLM 支持 SSM 输入缓存与 MTP
vLLM 和 NVIDIA 把 Mamba2 的解码内存开销压下来了，用 SSM 状态模型跑长文本的可以升级试试。
4 张 Tesla V100 组 NVLink 集群，AI 推理速度跑赢 2 台 DGX Spark
把 9 年前的 V100 拼成 4 卡集群，推理速度居然压过两台 DGX Spark，数据都列出来了，玩本地推理的可以看看怎么省钱。
10月10日
10月9日
NVIDIA Dynamo 发布博客：面向 Agent 工作负载的 KV 缓存复用方案
如果你的 Agent 跑得慢、GPU 显存被 KV cache 吃满，这篇 NVIDIA Dynamo 的博客讲了 router 加 KV-cache manager 怎么复用上下文，值得照着调优。
10月8日
H-Company 用 NVIDIA Dynamo 优化面向 Computer Use 智能体的 VLM 推理服务
H-Company 聊了怎么用 NVIDIA Dynamo 优化跑 Computer Use 智能体的 VLM 服务，做 agent 推理部署的可以看看他们的实践。
vLLM 分享 DeepSeek-V4.1-Flash 的 SWA bounded replay 优化
37FlowAI 拆解了 DeepSeek-V4.1-Flash 在 vLLM 上跑 agent 的优化细节，SWA bounded replay 能明显降低 TTFT，搞部署的可以看看。
10月7日
vLLM 数据：配对 4:8 稀疏让 Kimi-K2.5 推理提速 1.18 倍
搞推理部署的可以看看：B200 上 4:8 稀疏让 MoE 专家层快 1.35-1.65 倍，Kimi-K2.5 实测也有 1.18 倍。
NVIDIA 提出 NCCL M2N 集合通信原语，优化分布式张量重分片
做 RL 训练或大规模推理部署的可以看，DeepSeek-V3 权重同步直接从 5.78 秒砍到 2.77 秒，还是进 NCCL 的正经方案。
10月6日
研究揭示 KV-Cache 选择性复用受请求顺序影响，文档对齐策略降低答案波动
跑长程智能体的开发者看看：KV-Cache 复用会导致同一提示词输出不同，论文给了文档对齐重算方案，波动从 69% 降到 26%，还保住 5.7 倍提速。
OpenAI 将 GPT 6 Astra 与 6.1 Sol 推理速度提升 50%
OpenAI 把 GPT 6 Astra 和 6.1 Sol 的推理提速了 50%，所有 ChatGPT 计划都能用上，几小时内推送完。
10月5日
vLLM 项目感谢贡献者向 semantic-router 和 Mooncake 提交代码
vLLM 官方点名感谢开发者 Abhinandan，他给 semantic-router 和 Mooncake 都提交了代码，做推理优化的可以关注下这两个项目。