Bevy 系统：用并发请求调度替代 prefetching，加速本地 MoE 推理

arXiv 论文提出 Bevy，一个面向本地 MoE 推理的系统。它发现当 GPU 显存中存在 expert cache 时，prefetching 的专家预测精度会下降，反而浪费带宽和显存。Bevy 改用 runahead 推理：让专家已就绪的请求先跑到后续层，从而显式暴露下一个所需专家，再在计算就绪请求的同时抓取缺失专家，无需任何预测。其自平衡调度器会在每层对就绪请求做批处理并优先处理落后请求。在两个本地平台上，Bevy 解码吞吐量最高达到 llama.cpp 的 3.46 倍，以及最快 prefetching 基线的 1.55 倍。