#RadixAttention

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「RadixAttention」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月15日
SGLang 三年进化:从 RadixAttention 到支撑 330+ 组织的推理引擎

想自己搭推理服务的开发者可以看看这条时间线。SGLang 从 RadixAttention 缓存技巧做起,三年内做到 217 个模型 day-0 支持,330 多个组织在用,和 vLLM、TensorRT-LLM 属于同一赛道。选引擎前了解它的演进路径会有帮助。

AI Will@FinanceYF5原文