Speculators v0.9.0 发布：训练速度提升 2 倍，FP8 后端存储减半
做投机解码训练的朋友看下：Speculators 0.9.0 前向训练快 2 倍，FP8 后端存储省一半，训完还能直接进 vLLM。
#Red Hat AI
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Red Hat AI」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月20日
做投机解码训练的朋友看下：Speculators 0.9.0 前向训练快 2 倍，FP8 后端存储省一半，训完还能直接进 vLLM。
