#FlexAttention

共 1 条 · 7 天 1 条 · 30 天 1 条

AMD 1 KV缓存 1 PyTorch 1 长上下文 1

信息流里打上「FlexAttention」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月14日

技巧 Agent 与开发者精选02:09

FlexBudget：统一 FlexAttention 内核公平对比 KV 缓存淘汰策略

AMD 研究员做了个开源方案，把 KV 缓存淘汰策略和内核实现解耦，跑长上下文想省显存的可以看看怎么公平测不同策略。

#FlexAttention #KV缓存 #PyTorch #长上下文

官方账号PyTorch@PyTorch原文