性能优化相关 AI 资讯 · AITOP · AI热报

5月13日

21:36

21:36IT之家（博客/媒体）

微软正在推进“Windows K2”计划以改善 Win11 性能，重点优化 WinUI 3 框架的启动时间。以文件资源管理器为基准测试，内存分配次数减少 41%，临时内存分配减少 63%，函数调用次数减少 45%，WinUI 代码执行时间降低 25%。这些改进将很快进入开发分支，并最终并入主线。微软还在使用 WinUI 重构 Win11 的开始菜单，以进一步提升系统响应速度。

AI产品微软 WinUI 3 Win11

推荐理由：Win11 用户终于能感受到更快的文件资源管理器响应了，做系统优化或 UI 开发的工程师可以关注这些底层改进，直接受益。

21:36

21:36官方一手Moonshot AI: Kimi Blog（资讯）

本文以 Golang 为例，展示了如何利用 Kimi API 的 Context Caching 功能来加速 API 调用，降低延迟和成本。Context Caching 允许开发者缓存频繁使用的上下文数据，避免重复传输，从而提升响应速度。文章提供了详细的代码示例和配置说明，帮助开发者快速集成。这项技术对于构建高效、低成本的 AI 助手应用具有重要意义。

技巧 Context Caching Kimi API Golang

推荐理由：做 Golang 后端且对接 Kimi API 的开发者，可以直接参考这篇实践来优化你的 AI 助手响应速度，减少 API 调用成本。

5月11日

11:45

11:45官方账号arXiv cs.AI（学术论文）

Dooly是一种新型LLM推理模拟器，解决了传统模拟器因硬编码配置而需重新分析所有操作的高成本问题。它通过单次推理过程，利用污点传播标记输入维度来源，仅分析数据库中缺失的操作，并复用服务引擎初始化代码隔离有状态操作（如注意力机制）。在两种GPU平台、三种注意力后端和多种模型架构上，Dooly实现了TTFT 5%以内、TPOT 8%以内的模拟准确性，同时将12个模型的分析GPU小时数减少56.4%。这项工作降低了探索最优推理配置的计算成本，对部署效率提升有重要意义。

论文推理模拟 LLM推理性能优化

推荐理由：Dooly通过结构感知的冗余消除，显著降低了LLM推理配置探索的开销，对需要评估多种硬件、引擎和模型组合的从业者具有实用价值。