#Transformer

AGSA-Net将光谱解混与自注意力结合，在高光谱图像分类上表现优异，尤其适合城市场景分析。

这篇论文揭示了SVD压缩在注意力机制中与秩崩溃的复杂关系，对模型压缩和优化有重要启示。

研究人员发布了一套开源工具包，可测量Transformer模型如何区分同一词在不同上下文中的含义，包含完整流程和避免常见偏差的方法。

Graph Machine 用边对象替代传统状态，在 Qwen3-0.6B 上预训练时，稀疏层仅需少量检索就能保持性能。

这篇论文提出了Transformer注意力头在表格数据中的重要性评分方法，能帮你优化模型结构并提高效率。

TANGO模型在自然和形式语言建模中表现出色，计算效率高，值得关注。与WANGO相比，在序列长度线性复杂度下表现更优。

Next-Scale Transformer模型在人脸合成方面表现出色，与现有模型结合，生成更精确的3D人脸模型，值得关注。

Tydra模型在保持预测性能的同时大幅降低推理时间，比Hydra模型更高效。

这篇论文用受控实验证明，模型输出能藏住内部状态的证据，128对测试全过，对理解AI可解释性挺有意思。

这篇论文提出L2T框架，用Transformer做MIMO检测的转移策略，硬输出和软输出都覆盖，挺有新意。

论文提出了RecipeNet，专门处理材料合成、制药配方这类结构化步骤数据，比通用表格模型更能捕捉层级和顺序信息。

有人发推吐槽 DSH 和 Transformer 都是技术自嗨，虽然只有 1152 次浏览，但观点值得围观。

orange.ai@oran_ge原文

放疗圈看过来，这个模型把左前降支动脉分割做得更准，比nnU-Net和Swin UNETR都强，还用了LoRA省显存，值得试试。

作者盘点了11条2026年AI趋势，说3/4已经应验，断言Agent接管产品、toA爆发、Transformer到头，想抓风口的可以看看。

Yangyi@Yangyixxxx8 个信源在谈原文

GEM-3让你用一套权重随时切换1到24小时预报时间步，跑得稳还实用，比固定时间步的模型灵活多了。

RepairFormer用Transformer自动修复损坏的JSON等文件，保留内容，修复率88%，速度比现有方法快5倍。

这篇论文证明了Adam没有梯度下降的低秩隐式偏置，在Transformer里能让等价初始化差56%，不是调参小事。

一篇用百万参数模型研究思维链的论文，提出Protoreasoning，能有效提升分布外泛化，比大模型实验更好分析。

量子QNC^0能采的分布，扩散LM加CoT也采不出；Transformer要宽度n^Ω(1)才够。

这篇论文把Transformer说成“用概念变换概念”，提出动态权重来自输入的新解释，还猜测人脑可能也这么处理语言。

谷歌Titans团队的新方法用记忆缓存把RNN长上下文召回从21提到32，算力还远低于Transformer。

Gary Marcus@GaryMarcus原文

只给值路由多加一条独立通道，120M/343M模型10组对照全胜，困惑度降2-3%。做Transformer的可以看看。

做 AI 的人都在聊 Transformer 和扩散模型，这条推文一句话点出两者的现实差距，值得一看。

Suhail@Suhail原文

Gary说最大突破是模型加工具和代码解释器，像Claude Code；另有人说9年没真突破。

Gary Marcus@GaryMarcus原文

这篇论文把Transformer的上下文管理建模成带Pop的栈，证明两个可弹出的通道就够模拟一切可计算函数，比只看参数规模有意思多了。

这篇论文用AI判断两个物理系统是否对偶，在约10节点quiver上比传统算法快，还配了“quiver版谷歌地图”提高准度。