#FlashAttention

共 5 条 · 7 天 1 条 · 30 天 3 条

信息流里打上「FlashAttention」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月13日

Tri Dao 发推聊 SSM 为什么一直吃不到投机采样和量化的红利，答案居然是缓存没选对，做推理优化的值得看看这个思路。

官方账号Tri Dao (FlashAttention)@tri_dao原文

9月28日

SAP 把 TabPFN 这类表格模型的注意力掰开测了一遍，FlashAttention、cuDNN、SageAttention 谁快谁慢、在哪张卡上快都列清楚了，做表格模型推理的可以直接抄作业。

arXiv cs.LG@Maximilian Schambach 等 3 人2 个信源在谈原文

9月21日

想了解如何用开源工具优化 AMD XDNA NPU 上大模型的性能，这篇论文用 FlashAttention 做了详细案例，对比了不同设计，还给出了具体优化策略。

arXiv: DeepSeek@Erwei Wang 等 7 人原文

8月5日

论文多源确认09:56

ATFlash 在 1M token 上下文把 Qwen2.5-7B 提速 1.31 倍，精度不掉，而且能直接叠加现有稀疏方法。

arXiv: OpenAI@Shun-ichiro Hayashi 等 4 人4 个信源在谈原文

7月26日

技巧 Agent 与开发者官方一手精选02:15

想写GPU内核但被CUDA细节劝退？TileLang用Python帮你搞定Tensor-Core GEMM和FlashAttention，自动处理线程映射和调优，省心。

官方一手marktechpost@Sana Hassan原文