SLA：为 TPU 重新设计的门控 Delta 线性注意力
KDA 这些线性注意力层都是为 GPU 调优的，搬到 TPU 会浪费一半算力，这篇把它们按 TPU 矩阵单元重新设计，训练快最多 24%，做 TPU 训练的可以看看。
#Kimi Delta Attention
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Kimi Delta Attention」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月5日
KDA 这些线性注意力层都是为 GPU 调优的，搬到 TPU 会浪费一半算力，这篇把它们按 TPU 矩阵单元重新设计，训练快最多 24%，做 TPU 训练的可以看看。