#Transformer

这篇论文把GPT-2用在轴承故障诊断上，只用10%的标签数据就比SOTA高了17个百分点，工业场景下很实用。

想快速搞懂主流Transformer架构和各家模型？这篇综述帮你理清了架构分类和应用场景，还比较了参数和能耗，适合做调研入门。

这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。

新方法让十亿参数Transformer通过双向学习实现线性合并，损失屏障极低，视觉和语言模型都验证有效。

这家日本AI公司有Transformer论文作者和前Google Brain负责人，主打集体智能，背景扎实值得看。

berryxia@berryxia原文

这篇论文提出多任务贝叶斯ICL框架，速度比传统方法快几个数量级，还能适应新先验，在温度预测上表现很好。

微软研究员拿Transformer和人类比记忆：听五小时故事，它能记住新密码，你行吗？看看具体差异在哪。

官方账号Microsoft Research@MSFTResearch原文

Noam Shazeer刚加入OpenAI，之前谷歌花27亿签他都没留住。你想知道AI圈顶级人才有多贵吗？点开看看。

Aadit Sheth@aaditsh11 个信源在谈原文

亚马逊的AI老大说了，Transformer不是终点，芯片和模型得一起进步才能搞出大新闻。

官方账号Amazon Science@AmazonScience原文

Transformer 共同作者 Noam Shazeer 从 Google 跳槽到 OpenAI，Altman 期待了10年，这个人加入可能会影响下一代模型研发。

官方账号Sam Altman@sama11 个信源在谈原文

想压缩Transformer模型？CAHP自动剪掉冗余注意力头，不用调参，在SST-5和MNLI上比梯度方法更强，还保住了中间层的关键结构。

这篇论文提出了FPRM，用固定点收敛让循环推理深度自适应任务难度，在Sudoku和ARC-AGI上效果不错，适合关注推理架构的人。

这篇论文证明了simPE在图像旋转下比标准位置编码更稳，用四个数据集给出了理论界和实验验证，做视觉Transformer的值得看。

这篇论文在股票预测上用改进的Transformer和数据增强，在VN30和标普500上效果比堆模型还管用，值得看看具体方法。

零样本推理更大域的新方法

Whisper解释性更好用了

做海岸工程或海洋监测的团队，终于有了一个成本低、可解释的AI方案——从视频直接估算波浪参数，比布设浮标省钱省力，值得关注。

Karpathy 的基准测试为 AI 开发者提供了一个衡量模型进化难度的新工具，做模型训练和评估的团队值得关注这个测试，看看自己的模型需要多久才能达到高级水平。

Richard Socher@RichardSocher原文

机器人需要感知用户心率来调整交互策略，但光照变化一直是部署的拦路虎——这个框架把误差压到了1 bpm以内，做服务机器人或辅助机器人开发的团队可以直接参考。

这项研究解决了PPG血压估计中忽视个体血管差异和形态特征的问题，做可穿戴健康监测的团队可以直接参考其轻量模型设计，校准场景下误差大幅降低，值得关注。

这篇论文戳破了 Transformer 在入侵检测中“近乎完美”的假象——做网络安全 AI 研究的团队，尤其是依赖 CIC-IDS2017 基准的，建议仔细看 padding 和分割协议的影响，否则你的模型评估可能虚高 0.24 macro-F1。

这项研究用极简设计同时提升了Transformer的计算效率和可解释性，做模型压缩或可解释性研究的团队值得关注，尤其是对MoE稀疏化方向感兴趣的开发者可以看看。