#Transformer

国家气象中心联合高校做的“风清”系统上线了，预报时效11天，精度超过了ECMWF的AI集合预报，几分钟就能推演全球天气，算力全部国产。

扩散语言模型一直借用图像那套 DiT 架构，这篇论文专门为文本重设计了 LangDiT，GenPPL 降到 11.33，做生成模型方向的可以看看架构细节。

一篇把权重当数据来学的论文，把 MLP 上成熟的做法补齐到了 decoder-only 语言模型，还顺手放了两个新数据集，做 weight-space 研究的可以看看。

一条推文观点：NTP 训出的 LLM 能从行为痕迹反推人类行为信号，作者还说 Ilya 早看穿了。

Teortaxes@teortaxesTex原文

让模型先读懂场景再自动调采样温度，Llama-3.1-8B 上验证有效，搞解码优化的可以看看。

MalwareFormer 直接啃二进制字节就能抓恶意软件，不用逆向分析，准确率 98.35%，误报不到 2%。

BARTER 不用专用稀疏算子，靠张量紧凑化把训练提速 6.29 倍，显存省 81%，iPhone 上也能跑。

一篇讲新注意力架构的论文，预填充快 21.9 倍还能保持 128K 长上下文召回，做长文本推理的可以看看

arXiv 上的新论文，把 in-context learning 搬进系统辨识，不用先估模型就能零样本预测，还能生成带不确定性的合成数据，做控制或建模的可以看看。

MIT提出reViT，用单Transformer块实现多深度视觉编码，参数减少70%精度不降。

Marformer直接预测条件边际分布，无需建模完整联合分布，在缺失数据处理任务上表现优异且速度快。

一篇数据库方向的论文：把 Transformer 剪成 FFN 切片塞进数据库里跑预测查询，用 BERT-base 和 Qwen-0.6B 实测延迟降到 1/4.42，精度不掉。做数据库+ML 的人可以看看。

这篇论文展示了如何将Transformer内部计算过程完全可视化，让模型算法变得直观可理解。

一篇挺有意思的机制分析：模型微调后"忘了"的东西其实还在，删掉一个方向就能捞回来，做微调的值得看看原理。

团队训练了一个专做矩阵补全的 Transformer，一次前向就能补全整块缺失数据，零样本用在推荐、表格插补和因果推断上都行，思路和 TabPFN 这类逐条预测的表格模型不一样。

Faynt是首个能控制全部26个任天堂格斗游戏角色的AI模型，胜率超98%，还开源了代码和锦标赛平台。

RicursiveAI创始人分享颠覆性观点：Transformer胜出可能只是因为适合现有芯片，未来可能有更好架构。

The Information@theinformation原文

MoFA研究显示注意力函数选择作为先验，在分布内被掩盖，分布外重新显现，影响模型行为。

MIT团队用新乘法结构提升Transformer速度，参数不变但生成更快，适合关注模型效率的研究者。

训练一次就能按算力预算随意截断的模型，论文里比固定出口方法省 43% 的曲线面积，做模型压缩的可以看看。

一篇时间序列方向的新论文，给 transformer 加了可写记忆层，能同时捕捉局部波动和全局趋势，低标注场景下分类效果不错，做时序的朋友可以看看。

训练只喂短任务，推理却能搞定32倍长的任务，靠的是外层 harness 做分解，思路挺新颖

Gary Marcus@GaryMarcus原文

一个叫 TRACER 的模型，用 276 名心衰患者的远程监测数据训练，能提前预测 66.7% 的住院事件，做医疗 AI 的可以看看

把 transformer 注意力当成动力系统来分析的物理论文，找出了混沌、凝聚这些相变结构，做理论或注意力机制研究的可以看看。

arXiv 上一篇讲 KV 缓存的新论文，用本地历史替换当前 token 分支，126M 模型上困惑度降了约 1.4%，做推理优化的人可以看看。

这篇论文揭示了Transformer中小型离散检索任务中电路可移除性取决于训练轨迹而非最终架构，对模型优化有重要启示。