论文精选
评论：滑动窗口注意力或是前沿模型的关键架构
精选理由
一条关于注意力架构路线之争的观点：美国系初创都在用 SWA，DeepSeek 和 Kimi 则自研 MLA、NSA 这些替代方案，看两边怎么选架构挺有意思。
一位评论者认为 Sliding Window Attention（SWA）才是前沿模型的真正秘密武器。从美国前沿公司分拆出来的初创公司（如 Mistral）普遍采用 SWA。DeepSeek 和 Kimi 走了独立研发路线，分别发展出 MLA、NSA、DSA 等注意力机制以及 MoBA、Kimi-Linear。文中还提到双方各自的方案延续到了 V4/V4.1 版本。
原文 · Teortaxes
I believe that SWA is the real "frontier secret sauce". Startups spun out of American frontier and near-frontier companies (eg Mistral) universally use it. DeepSeek&Kimi went the hard independent R&D route (MHA-MLA-NSA-DSA-whatever the hell V4/V4.1 became; MoBA, Kimi-Linear).
