线性模型相关 AI 资讯 · AITOP · AI热报

9月3日

11:44

11:44

官方账号arXiv cs.LG@Zhaoming Li, Paul Hand

精选

该研究建立了可调线性生成先验在压缩传感中的理论框架。研究证明在无噪声高斯压缩传感中，全维线性先验在整个线性先验家族中达到最小期望重建误差。这一结果与去噪行为形成对比，在去噪中较低复杂度的先验因偏差-方差权衡能获得更低重建误差。该研究表明神经网络先验在压缩传感中的可调性实验优势源于生成模型的非线性特性。

论文压缩传感生成先验线性模型

推荐理由：这篇论文揭示了压缩传感中可调线性生成先验的理论边界，解释了为什么神经网络先验的可调性在实际应用中有效。

6月26日

10:22

10:22

官方账号arXiv cs.LG@Lang Huang, Jinglue Xu, Luke Darlow

研究使用Ridge回归作为测试床，在8个标准基准上搜索上下文长度、局部归一化、正则化和数据增强的最优超参数。发现最佳回溯窗口长度与预测时序高度相关，且非单调，幂律指数从ETTm2的+0.46到Exchange和Traffic的-0.19。在大多数数据集-预测时距组合上，优化后的线性模型超越了先前的线性预测器，并超过Transformer、MLP和CNN基线在6/8个基准上的表现。优化超参数还可作为数据诊断工具，揭示大型模型隐式学习的结构。

论文 Ridge回归时间序列预测超参数优化

推荐理由：这篇论文发现，调好预处理参数，线性模型就能干翻Transformer等复杂模型，不用堆算力。