EAServe 论文提出面向多模态 LLM 的 Encode 感知分离式推理服务

论文针对多模态大模型（MLLM）推理中新增的 Encode 阶段提出 EAServe 系统，将 Encode-Prefill-Decode 三阶段流水线中的 Encode 重新定位为控制点。其运行时层包含负载自适应微批处理、速率控制的 partially offload 和动态 SM 分区，配置层 HAS 通过按阶段容量画像和 TPE 贝叶斯优化搜索 GPU 分配、encode 批大小与 offload 比例。在覆盖图像、视频、音频的三种 MLLM 架构上评测，相同 SLO 约束下 EAServe 的 goodput 分别比 NVIDIA Dynamo 高 4.3 倍、比 vLLM 高 1.7 倍，并显著提升 GPU 利用均衡度。