等变性相关 AI 资讯 · AITOP · AI热报

8月17日

10:13

10:13

官方账号arXiv cs.LG@Longde Huang, Axel Flinth, Jan E. Gerken

该论文提出用随机权重平均(SWA)替代深度集成，在增强数据上获得对称性等变性提升。作者用奥恩斯坦-乌伦贝克过程近似训练末期轨迹，证明在无限宽度极限下SWA能带来超出单独SWA性能增益的等变性提升。实验覆盖计算机视觉与图分类任务，涉及离散和连续对称性。SWA无需多轮重复训练，计算成本低于深度集成。

论文 SWA 数据增强等变性

推荐理由：不用训练多次就能拿到类似深度集成的对称性提升，做数据增强的可以看看。

8月5日

11:32

11:32

官方账号arXiv cs.AI@Zixun Guo, Simon Dixon

人类能识别时移或转调的音乐，但标准音乐Transformer对这类输入会产生不相关表示。研究发现模型规模增大或训练时间更久时，等变性反而下降。为此提出EMT，通过自蒸馏联合优化下一token预测与辅助等变正则化损失。等变损失作为正则化器，同时提升预测能力和表示质量。在客观与主观评估中，EMT均超过数据增强、特征工程和SOTA基线。

论文 Equivariant Music Transformer 音乐生成自蒸馏

推荐理由：音乐Transformer换个调就认不出旋律，EMT用自蒸馏让它真正学到结构，生成效果还比SOTA好。

7月29日

11:30

11:30

官方账号arXiv cs.LG@Weitao Li, Gong Cheng

论文提出生成器对齐表示接口GARI，一种表示级设计原则，通过对齐规范视图和生成器诱导视图将选定变换生成器暴露给通用序列骨干。形式化定义了探针特定软等变性残差，并实例化为GARI-Net，该网络通过生成器索引流、共享参数处理、顺序修复和跨流信息交换实现等变诊断。Direct Equivariance Error (DEE)提供冻结检查点诊断。在基因组序列、图像（平面旋转反射）和3D点云（轴向变换）上验证了任务相关的变换一致性。

论文 GARI GARI-Net Direct Equivariance Error

推荐理由：这篇论文让通用神经网络也能处理对称性，不需要专门设计等变算子，在基因、图像和点云数据上都有效果。