#TriAttention

一篇很实在的推理优化论文：把注意力分块按精度分档，长文本生成最高快 7.88 倍，代码已开源，做长上下文部署的可以试试。