Ostinato：常驻专家实现 CPU-GPU 混合的 MoE 推理引擎

论文 Ostinato 针对 MoE 模型在消费级 GPU 工作站上的推理瓶颈提出新方案。现有 CPU-GPU 引擎无法兼顾 prefill 和 decode：llama.cpp 的专家缓存为保住 decode 缓存会跳过超过 32 token 的前向传播，智能体每次工具调用后要等 2.1-2.8 秒；默认层放置虽缩短等待，decode 却慢 1.5-1.6 倍。 核心洞察是：短 prefill 虽然触及大量不同专家，但 84% 的专家激活（路由）集中在一组能放进显存的稳定专家上。Ostinato 让这些专家常驻 GPU、每次前向传播都在 GPU 上计算，且不改变模型计算结果。短 prefill 的路由被拆分，每层留给 CPU 的路由专家不足 1 个（每 token 6 个路由专家）；长 prefill 每个冷专家只上传一次；每个 decode 步骤以固定形状 CUDA graph 运行。 在四块 RTX 4090D 上用 DeepSeek-V4-Flash 跑真实的编程和客服智能体会话，Ostinato 在 prefill 和 decode 两阶段都是最快的引擎，相比 llama.cpp 和 KTransformers，工具输出后的中位等待时间减少 22-55%，会话整体完成速度快 1.4-2.5 倍。