#softmax attention

做扩散模型架构的值得看这篇：作者证明了 softmax attention 表达不了多项式去噪算子，于是干脆用 Volterra 层全替换，不靠 attention、卷积和激活函数也能在 ImageNet 上打平同预算的像素扩散模型。想理解 attention 在去噪里到底缺什么、以及流形维度如何决定逼近速率的，这篇把理论和架构对得很齐。