#推理优化
共 169 条 · 7 天 24 条 · 30 天 62 条
5月19日
Charon：大规模LLM训练与推理的统一细粒度模拟器
做 LLM 部署优化的工程师终于有了一个高精度模拟器来验证“如果…会怎样”的假设，Charon 能帮你快速找到最佳配置，避免盲目调参，建议直接看论文实验部分。
5月15日
Self-Recall Thinking提升多轮对话一致性，F1提升4.7%
做对话系统或客服机器人的团队，SRT解决了长对话中信息稀疏和一致性差的痛点，无需外部模块就能提升效果，值得在长上下文场景中试试。
模型04:54
Andrew Ng 新课程：Transformers in Practice，与 AMD 合作想真正理解 LLM 内部机制、诊断推理问题的开发者，这门课能帮你从黑盒用户变成懂原理的实践者，建议直接报名。
5月14日
Cohere 在 vLLM 集成 W4A8 推理：速度提升达 58%
Cohere 的 W4A8 方案解决了大模型推理中内存与速度的权衡问题，做模型部署和推理优化的团队可以直接在 vLLM 中体验，值得关注。
Stateful Transformers 实现流式推理 5.9 倍加速
流式推理场景（如实时数据监控、金融交易、对话系统）的开发者终于有了降低延迟的可行方案——把预填充移出关键路径，查询延迟与上下文大小解耦。做高吞吐低延迟推理服务的团队值得关注这个新范式。
5月13日
DeepSeek 开源 FlashMLA，高效 MLA 解码内核
DeepSeek 开源 FlashMLA 解决了大模型推理中 MLA 解码的性能瓶颈，做推理优化和模型部署的开发者可以直接拿来用，值得一试。