#VPP

共 1 条 · 7 天 0 条 · 30 天 0 条

LLM推理 1 vLLM-Ascend 1 流水线并行 1 长上下文 1

信息流里打上「VPP」标签的资讯、产品与论文，按刊登时间排，新的在上。

8月28日

论文精选73°17:39

VPP：提升长上下文LLM推理效率的虚拟流水线并行

VPP解决了长上下文LLM推理中流水线气泡问题，在保持短序列性能的同时显著提升长序列吞吐。

#VPP #LLM推理 #流水线并行 #长上下文

arXiv: DeepSeek@Yan Shi 等 10 人原文