#循环神经网络

共 9 条 · 7 天 0 条 · 30 天 3 条

开源模型 2 AIME 1 AL-RNN 1 Apple 1 DreamerV3 1 Huginn 1 KV cache 1 LoopCD 1

信息流里打上「循环神经网络」标签的资讯、产品与论文，按刊登时间排，新的在上。

11月6日

论文10:26

截断BPTT的梯度边界效应被证明呈指数衰减

搞RNN或循环模型训练的可以看看，这篇把截断BPTT到底丢多少梯度信息给出了数学刻画，结论挺实用。

#TBPTT #梯度下降 #循环神经网络 #优化理论

arXiv cs.LG@Julian D. Schiller, Matthias A. Müller原文

11月3日

论文 Agent 与开发者精选00:44

Meta 与 MIT 论文：循环复用 Transformer 层可在不增参数下提升模型质量

Meta 和 MIT 这篇论文挺有意思，循环跑同一组层就能变强，adapter 只加 1% 多参数，做小模型优化的话可以看看实验细节。

#Meta #MIT #Transformer #循环神经网络

rohanpaul_ai@rohanpaul_ai原文

10月27日

论文09:39

100 个认知任务联合训练：研究 RNN 中的多任务相互作用

用 AL-RNN 在 100 个认知任务上同时训练，解释了任务间什么时候互相帮助、什么时候互相打架，做神经计算建模的可以看看。

#AL-RNN #循环神经网络 #多任务学习 #认知任务

arXiv cs.AI@Sílvia García-Hernández 等 3 人原文

10月6日

论文 Agent 与开发者精选13:42

Looped 模型训练新方法：利用不动点实现 KV 共享与加速

如果你关心 looped 模型的训练效率，这篇论文给出了一套实在的改进，KV cache 缩小 3 倍还不掉点。

#Huginn #looped model #KV cache #循环神经网络

arXiv cs.LG@Benhao Huang 等 7 人原文

10月2日

模型 Agent 与开发者精选13:17

Apple发布LoopCD模型

Apple新发布的LoopCD模型，减少循环次数还能提升性能，AIME成绩提升超11个百分点。

#LoopCD #Apple #AIME #循环神经网络

事件专题

Aran Komatsuzaki (论文推介)@arankomatsuzaki原文

10月1日

论文 Agent 与开发者11:04

Looped Mixture of Experts扩展定律研究

这篇论文提出了首个联合建模循环和稀疏性的扩展定律，万亿token规模实验显示其能实现2倍参数效率提升。

#Looped Mixture of Experts #MoE #扩展定律 #稀疏性

arXiv cs.AI@Yanbei Chen 等 3 人原文

论文 Agent 与开发者10:09

线性循环记忆足以提炼机器人空气曲棍球策略

MIT研究证明，在机器人控制任务中，简单的线性记忆机制配合非线性表示学习就足够了，不一定需要复杂的非线性循环动态。

#DreamerV3 #机器人控制 #循环神经网络 #线性模型

arXiv cs.LG@F. Olivia Fan, Oliver Obst原文

5月19日

论文精选14:45

NDR-SHKF：用学习记忆衰减改进Sage-Husa卡尔曼滤波，提升无人机状态估计鲁棒性

做无人机状态估计或机器人定位的团队，终于有了一个能自适应噪声变化、在传感器中断时依然可靠的滤波方案，值得在实机测试中尝试。

#卡尔曼滤波 #无人机 #状态估计 #自适应滤波

arXiv cs.LG@Kenan Majewski, Marcin Żugaj原文

5月15日

论文精选10:05

RNN-ProVe：循环神经网络策略的概率验证框架

做强化学习验证或RNN策略安全的团队，终于有了一个能给出概率性保证的实用工具，比传统过近似方法更精准，值得关注。

#强化学习 #循环神经网络 #概率验证 #多智能体

arXiv cs.AI@Luca Marzari, Enrico Marchesini原文