AITOPAI热报

状态空间模型

共 13 条相关 AI 资讯
8月26日
11:22
11:22官方账号arXiv cs.AI@Yogesh Kumar
精选
近期研究将Mamba风格状态空间模型（SSMs）应用于视频异常检测，但现有方法仍依赖缓冲剪辑或窗口，缺乏对时间记忆与检测延迟关系的理论解释，仅通过GPU吞吐量而非目标边缘硬件来基准效率。我们引入了一种严格因果流异常检测器，其固定大小状态每帧更新时间为O(1)，无前瞻和无剪辑缓冲。其时间核心是一个对角线性状态空间递归，具有输入和状态依赖的衰减门，通过在冻结视觉骨干上的因果下一嵌入预测进行自监督训练。我们推导出递归衰减频谱与检测延迟和可可靠捕获的最短异常之间的封闭形式关系，然后在UCSD Ped2和CUHK Avenue上进行实证验证。从学习到的基衰减（57到59帧）预测的收敛延迟界限远高于测量的检测延迟（1.6和18.4帧），表明事件边界门而不是基衰减控制响应速度。我们进一步报告了在Apple M3 Pro硬件上直接测量的端到端延迟和吞吐量，每帧0.74毫秒和0.77毫秒（超过1300 FPS），而不是模拟的GPU数字。未经调整的初始配置下，该方法在Ped2和Avenue上达到67.9%和70.2%的帧级AUC，略低于先前非因果SSM基线。在衰减率、状态大小和门控上的消融实验表明，门控贡献与数据集大小相关，在较小的Ped2训练集上损害准确性，但在较大的Avenue集上有所帮助。缩小准确性差距并将评估扩展到第三个更大的基准是下一步的紧急任务。
论文视频异常检测状态空间模型MCP/工具
推荐理由：这篇论文介绍了一种新的视频异常检测器，它具有更快的响应速度和更高的准确性，值得专业人士关注。
原文
8月19日
00:21
8月18日
15:36
15:36官方账号arXiv cs.AI@Bo Zhao, Zheng Wu, Yiping Xie, Zitong YU
CardiacMamba是一个融合RGB面部视频与射频（RF）心脏运动信号的rPPG框架，通过状态空间建模提升心率估计的公平性与鲁棒性。其引入时间差分Mamba模块（TDMM）增强RF信号细微变化，双向SSM交互机制对齐异构模态，通道级FFT（CFFT）优化频谱特征。在EquiPleth数据集上，CardiacMamba取得0.96 bpm MAE、3.06 bpm RMSE和0.97皮尔逊相关系数，将浅深肤色MAE差距降至0.26 bpm，并在RGB退化或RF缺失时保持稳健。
论文CardiacMambarPPG心率估计
推荐理由：想搞非接触心率监测的可以看看，它把RGB和射频信号融合，肤色偏见和光照干扰都压下去了，EquiPleth上误差不到1 bpm。
原文
8月5日
12:05
12:05官方账号arXiv cs.LG@Arslan Battalov, Karim Kramin, Alexander Markotenko, Sofia Sinitsina
Muon是一种通过Newton-Schulz迭代在谱范数下做最速下降的优化器，此前证据几乎全部来自Transformer模型。这篇论文在Mamba-2 130M上对比了Muon与AdamW，只改变哪些权重组用Muon训练。结果显示只有输出投影用Muon时收益最明显，输入投影或两者都用效果更差。优势主要体现在token效率上，在两个语料和两个token预算下都成立，且超过计算最优训练点后依然持续。较低的条件数不能解释增益，因为条件数更低的输入投影反而没有帮助。
论文MuonMamba优化器
推荐理由：Muon优化器之前都在Transformer上测试，这篇论文把它用到Mamba-2 130M上，发现输出投影用Muon最划算，训练效率更高，值得看看。
原文
8月4日
12:03
12:03官方账号arXiv cs.LG@Anusha Madan Gopal, Aras Pirbadian, Kristofor D. Carlson, M Anthony Lewis, Jonathan Tapson
精选
论文提出PRECOG，把语料库离线预编码为SSM隐藏状态，查询时将最优状态直接注入，省去RAG的上下文重新读取。在带192KB隐藏状态的1.2B参数TENNs-LLM上，PRECOG将prefill延迟从约27秒降到6毫秒以下，约4500倍加速，并保持与上下文RAG相当的答案质量。配套的SMC用认知域聚类构建层级持久记忆，支持保真度/存储调节和O(1)会话初始化。该机制依赖SSM固定长度、与位置无关的循环状态，Transformer的KV缓存因位置纠缠且随上下文线性增长而无法实现。
论文PRECOGTENNs-LLMRAG
推荐理由：论文把RAG预填充从27秒压到6毫秒，1.2B模型在边缘也能交互式检索，Transformer做不了。
原文
7月4日
00:03
6月17日
11:58
11:58官方账号arXiv cs.LG@Ramprasath Ganesaraja, Sahil Dilip Panse, Swathika N
Mamba-2 1.3B参数模型通过分组量化感知训练（QAT）从FP16教师蒸馏，仅消耗4 GPU小时（单H100）和102M tokens，将内存从2,687 MB压缩至744 MB（3.61倍）。零样本七任务平均准确率达48.1%，接近Bi-Mamba的48.4%（±0.9pp置信区间）。该方法无需从头训练150B tokens，使用预训练检查点即可。研究还发现零比例坍缩现象，即可学习量化尺度导致的不稳定性，这在从头训练中不会出现。后处理校正策略对SSM无效，因循环结构导致误差累积。
论文Mamba-2Ternary Mamba量化感知训练
推荐理由：把Mamba-2压缩到1比特权重不用花大钱从头训练，用预训练模型加少量微调就行，效果只差0.3%。
原文
6月9日
13:11
13:11官方账号arXiv cs.LG@Wayne King, Zeyue Xue, Yuxuan Bian, Jie Huang, Haoran Li, Yaowei Li, Yaofeng Su, Yuming Li, Haoyu Wang, Shiyi Zhang, Songchun Zhang, Yuwei Niu, Sihan Xu, Junhao Zhuang, Haoyang Huang, Nan Duan
Echo-Memory 是一项针对动作条件世界模型中记忆机制的受控研究。这类模型根据首帧、文本提示和相机动作序列生成多段视频，但其主要失败点往往是记忆而非局部图像合成：当相机离开再返回时，场景或关键物体可能悄然改变。现有记忆设计难以比较，因为增益与骨干网络、训练、检索和评估差异纠缠不清。Echo-Memory 固定了动作到视频的接口，仅改变历史信息的存储和读取方式，在共享的视频扩散骨干、优化器、相机动作表示、采样器和评估流程下，比较了原始上下文、基于压缩的记忆、不同读取路径的空间摘要以及状态空间循环。研究通过三分支协议（回放质量、域内循环重访和开放域返回探测）评估记忆，发现回放保真度不足以作为记住世界的代理指标。主要结论包括：原始上下文是强大的容量基线，能显著提升开放域返回性能；紧凑性不能替代容量；块状状态空间循环是最强的开放域返回机制。
论文世界模型记忆机制视频生成
推荐理由：做视频生成或世界模型研究的团队，这篇论文帮你拆解了记忆机制中容量、压缩、读取和循环四个关键维度，看完能直接指导你的模型设计。
原文
5月28日
11:27
11:27官方账号arXiv cs.AI@Abhilash Durgam, Nyle Siddiqui, Jeffrey A. Chan-Santiago, Qiushi Fu, Elakkat D. Gireesh, Mubarak Shah
精选
CaMBRAIN 是首个基于 Mamba 的因果状态空间模型，专为脑电图（EEG）信号实时推理设计。现有深度学习模型依赖注意力机制，序列长度增加时计算量呈二次增长，且需滑动窗口处理，无法理解全局信号。CaMBRAIN 利用因果状态空间模型保持线性复杂度，并引入多阶段自监督训练，增强长程记忆能力。在三个 EEG 数据集上，CaMBRAIN 达到最先进性能，吞吐量比现有模型高 10 倍以上，首次实现变长 EEG 信号的连续推理。
论文EEG状态空间模型Mamba
推荐理由：做脑机接口或神经信号处理的团队终于有了能实时处理长序列 EEG 的工具——CaMBRAIN 解决了注意力机制的计算瓶颈，吞吐量提升 10 倍，做实时监测或临床诊断的开发者可以直接用。
原文
5月27日
04:08
5月26日
11:44
11:44官方账号arXiv cs.AI@Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti
精选
论文提出一种类似睡眠的记忆巩固机制，让 Transformer 模型在长上下文任务中表现更好。模型在推理过程中定期将近期上下文转换为持久化的快速权重，并清除键值缓存，类似生物体的睡眠过程。在睡眠阶段，模型对积累的上下文进行多次离线循环处理，通过局部学习规则更新状态空间模型（SSM）块中的快速权重。在合成任务（如元胞自动机、多跳图检索）和数学推理任务上，该方法显著优于普通 Transformer 和 SSM-注意力混合模型。增加睡眠时长 N 能持续提升性能，尤其在需要深层推理的样本上效果最明显。
论文Transformer长上下文记忆巩固
事件专题
推荐理由：这项研究给长上下文推理带来了新思路——用类似睡眠的离线巩固机制解决注意力瓶颈，做长链推理或复杂数学问题的开发者值得关注，尤其适合处理超长上下文的场景。
原文
5月14日
13:26
13:26官方账号arXiv cs.LG@Hoang-Quan Nguyen, Sankalp Pandey, Khoa Luu
精选
长序列建模中，Transformer 的二次复杂度限制了其扩展性，而状态空间模型（SSM）虽线性高效，但记忆机制偏简单，难以捕捉复杂全局交互。研究者提出量子长注意力记忆（QLAM），将隐藏状态表示为量子态，通过参数化量子电路实现非经典全局更新，既保留 SSM 的循环线性结构，又利用量子叠加丰富记忆表示。QLAM 隐式捕获全局依赖，并通过查询相关测量提取任务信息。在 sMNIST、sFashion-MNIST 和 sCIFAR-10 等序列图像分类任务上，QLAM 一致优于循环基线和 Transformer 模型。这项工作首次将量子系统的叠加特性引入状态序列建模，为长上下文 AI 提供了新思路。
论文量子机器学习长序列建模状态空间模型
推荐理由：做长序列建模或量子机器学习的研究者值得关注——QLAM 用量子叠加解决了 SSM 记忆能力不足的问题，在标准基准上已跑赢 Transformer，建议点开看实现细节。
原文
5月11日
11:42
11:42官方账号arXiv cs.AI（学术论文）
针对传统CNN和ViT在事件相机图像重建中的局限性（CNN缺乏全局相关性，ViT计算复杂度随分辨率平方增长），研究者提出EmambaIR框架。该框架融合跨模态Top-K稀疏注意力（TSAM）和门控状态空间模块（GSSM），在保持线性计算复杂度的同时捕捉全局依赖。在运动去模糊、去雨和HDR增强三个任务的6个数据集上，EmambaIR以更低内存和计算成本超越现有最先进方法。代码已开源。
论文状态空间模型事件相机/图像重建视觉/生成
推荐理由：该工作为状态空间模型在高分辨率事件相机图像重建中提供了高效可行的方案，有助于推动实时视觉系统与边缘计算部署。
原文