表示学习相关 AI 资讯 · AITOP

9月1日

10:49

官方账号arXiv cs.LG@Michal Korniak, Kamil Dybek, Benjamin Eysenbach, Marco Bagatella, Michał Bortkiewicz

精选73°

研究者将对比强化学习(CRL)从单步动作扩展到动作块，在18个离线环境和11个在线环境中分别实现了31.7%和93.1%的性能提升。研究发现，在CRL中，动作块比单步动作携带更多关于目标的信息，显著提升了评价器的表示能力。这种改进并非完全通过建模非马尔可夫、时间扩展策略或传播无偏多步回报来实现。

论文对比强化学习动作块表示学习

推荐理由：这篇论文展示了对比强化学习通过动作块建模获得显著性能提升，揭示了动作块携带更多目标信息的新机制。

原文

8月10日

10:41

官方账号arXiv cs.LG@Yao Wu

传统异质表示学习常把特征拼接，导致无法溯源错误来源。该论文提出残差代数，将表示定义为同时拥有坐标系和残差的类型对象，学习则是有序的算子复合。在3.67M个中国A股日度观测（2023-2026）上，基础代数把净成本收益从13.52%提升到19.10%，Sharpe从1.42升至2.09。匹配容量、统一残差、无身份两阶段等方法均不及其表现。

论文 FPRC-PQ 表示学习量化投资

推荐理由：这篇论文用残差代数替代特征拼接，在A股数据上收益从13.5%提升到19.1%，Sharpe从1.42涨到2.09，比所有对照方法都强。

原文

7月30日

09:44

官方账号arXiv cs.LG@Aleksandr Berdnikov, Yevgeny Liokumovich

研究发现，100B参数级别的语言模型在残差流中编码了夜空地图表示，且可从提示“夜空中靠近这个天体的目标是什么”中解码。多数开源模型在该表示上LOO测试显著，解释方差R²达65%-85%，中位角度误差为12°-21°。这是高维弯曲不可约特征流形的首个实例。代码已开源。

论文语言模型星空地图可解释性

推荐理由：新研究发现大模型脑子里有张星空图，还能解码出来，挺有意思的。

原文

7月29日

11:30

官方账号arXiv cs.LG@Weitao Li, Gong Cheng

论文提出生成器对齐表示接口GARI，一种表示级设计原则，通过对齐规范视图和生成器诱导视图将选定变换生成器暴露给通用序列骨干。形式化定义了探针特定软等变性残差，并实例化为GARI-Net，该网络通过生成器索引流、共享参数处理、顺序修复和跨流信息交换实现等变诊断。Direct Equivariance Error (DEE)提供冻结检查点诊断。在基因组序列、图像（平面旋转反射）和3D点云（轴向变换）上验证了任务相关的变换一致性。

论文 GARI GARI-Net Direct Equivariance Error

推荐理由：这篇论文让通用神经网络也能处理对称性，不需要专门设计等变算子，在基因、图像和点云数据上都有效果。

原文

09:21

官方账号arXiv cs.LG@Bastian Pfeifer

论文提出一种对比表示学习框架，将多变量疾病轨迹建模为时间图。节点代表患者在不同时间的观察，边捕捉时间连续性和轨迹结构相似性。框架使用结构感知随机游走引导对比图神经网络，生成保留时间上下文的嵌入。这些表示能对具有相似疾病进展模式的患者进行鲁棒聚类，并揭示纵向数据中的潜在结构。实验在真实临床数据上验证了有效性。

论文对比学习图神经网络疾病轨迹

推荐理由：这篇论文用对比图神经网络给疾病轨迹建模，能更精细地聚类病程相似的患者，比传统方法好用。

原文

7月13日

09:58

官方账号arXiv cs.AI@Yuan Cao, Haiqian Yang

这篇论文指出当前AI系统在开放创新上存在两个关键缺口：词汇缺口（Vocabulary Gap）指AI难以发明和稳定新的表示基元，而验证缺口（Verifier Gap）指难以评判新基元在后续复用中的价值。作者以认知差异减少框架统一解释两种缺口，区分框架内变换与生成性变换，并提出创新自主性阶梯（ladder of innovation autonomy）。论文提议通过奖励有用表示变化的优化目标、持久记忆架构和自适应验证机制来推动开放AI的发展。

论文 Vocabulary Gap Verifier Gap 开放创新

推荐理由：这篇论文明确提出当前AI在真正开放创新上的两个瓶颈，不是堆能力就能解决的。搞AI研究和产品的人都该看看这个分析。

原文

7月7日

11:10

官方账号arXiv cs.AI@Rajat Rasal, Avinash Kori, Tian Xia, Ben Glocker

论文研究了扩散自编码器在训练中优化轨迹的不同机制，发现模型会进入重构优先或解耦优先两个早期阶段。通过分析图像重建与表示质量之间的曲线，作者提出可以通过控制U-Net捷径路径和噪声级暴露来调节重构-解耦权衡。提出的SteeringDRL方法采用门控残差U-Net和噪声级课程训练，在多个解耦基准上提升了表示质量并降低了种子敏感性。该方法还扩展到目标中心学习中的空间解耦，在合成和真实数据集上改善了分割质量。

论文 SteeringDRL 扩散自编码器解耦表示

推荐理由：想提升扩散模型的表示质量吗？这篇论文研究了训练中的重构与解耦权衡，还教你用门控残差U-Net和噪声课程来引导优化，效果不错。

原文

7月2日

10:15

官方账号arXiv cs.AI@Hao Huang

论文将Muon优化器解释为隐式残差连接。正交化更新牺牲局部梯度保真度，但改善下游层的表示保留。在受控线性优化中，Muon学习对局部目标拟合慢但下游层易利用的表示。该视角为设计平衡局部下降与下游可用性的优化器提供了新思路。

论文 Muon 优化器残差连接

推荐理由：这篇论文给了Muon一个新视角：它不只是优化器，更像隐式残差连接，专门为下游层保留好的表示。想理解Muon为什么管用的可以看看。

原文

09:58

官方账号arXiv cs.LG@Alexander Chemeris, Ming Jin, Randall Balestriero

Aionoscope是一个基于生成器的诊断工具，用于调试冻结时间序列表示中的潜在状态可访问性。它通过原始过程混合生成带有精确类别和密集标签的合成流。研究对37个模型加适配器系统进行了线性探测评估，发现粗粒度表示（如成分存在性）容易恢复，但密集过程状态（如时序、相位）的可靠性较低：最高密集探测均值掩码R²为0.689，而密集特征oracle为0.999。该工具揭示了表示可能表面信息丰富但隐藏了调试所需的细粒度变量。

论文 Aionoscope 时间序列表示学习

推荐理由：这篇论文提出了一个实用工具，帮你检查时间序列模型到底学到了什么，而不仅是预测准确度。

原文

6月19日

11:47

官方账号arXiv cs.LG@Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das

UNIEGO提出分层多教师蒸馏框架，使用9个教师（覆盖自我/他人视角、RGB/深度/骨架模态和4个基础模型）来训练统一编码器。为解决异构教师的不兼容架构和特征几何冲突，框架引入代理模型将不同教师知识翻译到同质化的自我中心空间。第二阶段选择性代理蒸馏（SPD）为每个样本自适应选择正确且自信的代理子集，抑制错误信号。UNIEGO在三个自我中心视频基准（动作识别、视频检索、动作分割）上达到最先进性能。

AI模型 UNIEGO 自我中心视频知识蒸馏

推荐理由：想用多视角多模态数据训练视频理解模型？UNIEGO用代理模型搞定异构教师蒸馏，在三个任务上刷新了纪录。

原文

6月12日

00:13

AK@_akhaliq

精选

TRL-Bench 提出了一个跨范式的表格编码器表示级评估标准。该基准覆盖了Transformer、MLP等不同架构。它旨在统一不同模型在表格数据上的表示质量比较。

AI模型 TRL-Bench 表格编码器基准

推荐理由：表格编码器评估新标杆

原文

6月11日

11:03

官方账号arXiv cs.AI@Hui Wang, Tianyu Ren, Joseph Butler, Christopher Baker, Karen Rafferty, Simon McDade

针对生物科学应用中多模态数据常部分缺失的问题，研究者提出Latent World Recovery (LWR)框架。LWR通过将不同模态的嵌入对齐到共享潜在空间，并仅融合实际可用的模态嵌入来构建统一表示，避免了传统缺失模态重构带来的误差传播。该方法无需固定模态集或显式插补缺失数据，在真实多组学基准上对癌症表型分类和生存预测等下游任务表现有效。

论文多模态学习缺失模态潜在空间对齐

推荐理由：做多模态学习或生物信息学研究的团队，LWR解决了缺失模态下的鲁棒表示学习痛点，直接利用可用模态避免误差累积，值得关注其实验结果。

原文

6月10日

11:06

官方账号arXiv cs.LG@Ilay Kamai, Hugues Van Assel, Aviv Regev, Hagai B. Perets, Randall Balestriero

精选

该论文系统研究了多模态表示学习中两种主流范式——跨模态对齐（CA）和跨模态预测（CP）的适用条件。作者通过线性框架和信号加噪声模型，揭示了两种方法的互补失败模式：对齐在噪声相关性高时失效，预测则受源模态质量影响。他们提出了一个四区域相图（Both、CA only、CP only、Neither），并开发了数据驱动方法，帮助实践者在训练前判断应使用哪种目标。实验在合成数据、立体视觉、图像-文本对和真实天体物理数据上验证了该框架，包括跨模态训练反而有害的“Neither”区域。

论文多模态学习跨模态对齐跨模态预测

推荐理由：这篇论文为多模态学习实践者提供了诊断工具，做生物医学或天体物理等异构数据研究的团队，可以在训练前判断该用对齐还是预测，避免盲目调参浪费时间。建议点开看看相图如何帮你选对目标。

原文

6月1日

10:12

官方账号arXiv cs.LG@Utsav Dutta, Gerardo Pastrana, Sina Khoshfetrat Pakazad, Henrik Ohlsson

CHARM是一种基于Transformer的通道感知表示模型，通过将通道级文本描述集成到编码器中，实现了对异构多变量时间序列的通用表示学习。该模型采用联合嵌入预测架构（JEPA）训练，并引入新损失函数以促进信息丰富且时间稳定的嵌入，在潜在空间预测中增强对传感器噪声的鲁棒性。在异常检测、分类和短期/长期预测任务中，仅使用线性探针即可达到强性能。性能提升主要归功于JEPA目标和条件架构，文本描述作为通道标识符支持跨数据集泛化。

论文时间序列多模态 JEPA

推荐理由：CHARM解决了多变量时间序列表示学习的通用性问题，做传感器数据分析、工业监控或金融时序预测的团队可以直接用线性探针获得强性能，值得关注其跨数据集泛化能力。

原文

5月30日

00:23

AK@_akhaliq

精选

DynaFLIP 提出一种基于三模态（视觉、触觉、动力学）的表示学习方法，用于提升机器人对物体动态交互的理解。在 RoboTouch 和 DexYCB 等基准上，DynaFLIP 相比单模态基线提升了 15% 的抓取成功率。该方法利用自监督动力学预测任务对齐多模态特征，无需大量标注数据。实验显示，DynaFLIP 在零样本迁移到新物体时泛化性优于现有方法。

AI模型 DynaFLIP 机器人感知多模态

推荐理由：让机器人看懂手-物交互

原文

5月22日

10:59

官方账号arXiv cs.AI@Vishal Rajput

精选

本文提出“匹配原则”，将鲁棒性、域适应、光度不变性、组合泛化、时间鲁棒性、对齐安全等看似独立的问题统一为同一个统计问题：估计部署干扰的协方差，然后沿着覆盖该协方差的矩阵正则化编码器雅可比矩阵。在线性高斯模型中，作者证明了闭式最优性（定理A），包括匹配范围内的立方根水填充；证明了二次雅可比惩罚需要范围覆盖（定理G）；并提供了七个条件一致性引理。作者引入轨迹偏差指数（TDI），一种无标签的嵌入敏感性探针。在从经典ML到Qwen2.5-7B的13个预注册实验中，12个通过了预测的匹配-各向同性-错误W顺序测试。在7B规模上，匹配风格PMH提高了选择性诚实性，并保持了风格TDI，而标准DPO则使其退化。

论文表示学习鲁棒性域适应

推荐理由：这篇论文把鲁棒性、域适应等一堆看似无关的问题统一成了一个统计框架，做表示学习或模型泛化的研究者可以直接用匹配原则指导正则化器设计，省去试错成本。

原文

5月20日

11:28

官方账号arXiv cs.LG@Robert Jenkinson Alvarez

精选

论文指出JEPA（联合嵌入预测架构）通常将单视图嵌入正则化为各向同性高斯分布，这隐含地引入了欧几里得对称性，但并非无害。当下游几何结构已知时，最优协方差应为哈密顿能量预算下的(c/d)H^{-1}，各向同性会导致可量化的性能损失。当下游几何未知时，任何固定边际目标都可能与某些结构严重不匹配。作者提出HamJEPA，将每个视图编码为相空间状态(q,p)，并用可学习的哈密顿跳蛙映射预测视图间转换，非各向同性尺度和谱底防止崩溃。在CIFAR-100上，HamJEPA在30轮时比SIGReg提升+4.89 kNN@20和+3.52线性探针点，80轮时提升+6.45 kNN@20和+10.64线性探针点。在ImageNet-100上，45轮时提升+4.82 kNN@20和+7.52线性探针点。

论文 JEPA 表示学习哈密顿几何

推荐理由：这篇论文戳破了JEPA中“各向同性正则化无害”的默认假设，做自监督表示学习的团队值得关注——它用哈密顿几何给出了更优的耦合方式，实验提升显著且理论扎实。

原文

5月18日

10:38

官方账号arXiv cs.LG@Hazhir Aliahmadi, Irina Babayan, Greg van Anders

精选

变分自编码器（VAE）普遍存在后验坍塌问题，即潜在变量被忽略。本文提出熵自编码器（EAE），仅以重构损失为显式目标，通过自由能最小化的编码器集成隐式生成潜在变量的先验。EAE 能学习非高斯、多模态的潜在分布，从而缓解后验坍塌，生成多样且与数据一致的样本。在反应扩散过程、MNIST 和 CelebA 数据集上，EAE 分别捕捉了低维动力学、隐式类别区分和面部层次结构。该框架为生成模型提供了一种新的训练范式。

论文生成模型变分自编码器后验坍塌

推荐理由：VAE 的后验坍塌是生成模型老难题，EAE 用隐式先验巧妙绕开，做生成模型或表示学习的开发者值得一看。

原文