#subquadratic attention

这个论文研究了一种叫 SQD 的方法，专门针对子二次注意力模型，能显著提升在异构系统上的推理效率，比单纯用 GPU 的方法好很多。