训练模型烧电,能量效率能不能预测?这篇论文用 modular arithmetic 和 MNIST 实测后发现:即便模型出现 grokking 式的延迟泛化,能耗效率曲线照样平滑下降。做训练成本估算、能耗优化的工程和研究人员可以看看他们的实验设计。
#神经网络
做分子模拟或 SDE 相关研究的朋友可以看看这篇 arXiv 论文:KC-Maps 不用跑长轨迹数据,直接学转移核,一次前向传播替代数百万步积分,在肽分子系统上比经典分子动力学省 GPU 时。
ConDR 修了 DeepReach 会把危险状态漏判成安全的毛病,在 Air3D、四旋翼这些基准上碰撞率最低,做安全控制可以看看。
天体物理里的引力波信噪比计算向来很费算力,这篇用一个小模型把百万次评估压缩到几秒,做引力波种群研究的人可以直接拿来用。
有人让 Fable 直接手写神经网络权重,绕过训练就做出一个能识别真假法律引用的小模型,路子挺新鲜。
王树义做了个有意思的实验:让大模型直接改神经网络的权重,不训练就能改变模型行为,还讲了局限在哪。
索尼的专利挺有意思:AI 不等 GPU 渲染完就预测下一帧,比传统帧生成少等一帧,玩游戏卡顿可能会更少。
朋友做了期节目,讲 Handwired 怎么把程序变成神经网络,还有浏览器里能直接跑的演示,感兴趣可以听听。
有研究者说90%的神经元功能都能读懂,如果属实,查模型有没有撒谎可以直接看电路,学界正在吵这个说法靠不靠谱。
论文解决了一个很实际的问题:检测器升级后旧水印失效、误报飙升。用 legacy chain 加 ADL 损失来修复,方法挺清晰。
OpenAI 前研究员 roon 发推聊可解释性,说基础突破反而来自公司外部,OpenAI 也在其中,观点挺扎心。
React 前核心成员写了套函数库,把 if-else 手写成网络权重,零训练跑出精确结果,还有三个能在浏览器玩的 demo,思路很特别。
做量子纠错的看:中途测量老被噪声坑,Lifting用重复编码加神经解码在IBM真机上验证有效。
LeCun 讲了段往事:1986 年他带着多层网络海报去 MIT,Minsky 见过他。喜欢深度学习历史的可以看看。
Gary Marcus 发火吐槽了,说很多人分不清神经网络自己解题和符号系统验证答案的区别,想聊 AI 能力边界可以看看。
这篇论文用格林算子解构多任务神经网络,揭示了计算如何在任务间和时间上被组织和重用。
这篇论文提出了一种新的视觉系统验证方法,用随机世界模型替代GAN,在验证效果和准确性上都有显著提升。
arXiv 上新出的 Purin 机制,给 AlexNet、VGG11 这些老 CNN 加了突触效能调制,三个模型准确率都涨了,搞 CV 的可以看看。
一篇很脑洞的论文:权重不存了,用 24 字节种子加复二次映射现场算出来,Two-Moons 上拿到 77.67% 准确率,思路挺新鲜。
这是关于如何用神经网络来近似非线性系统李雅普诺夫函数的研究,对做控制理论或系统稳定性分析的人可能有参考价值。
这个研究挺有意思,用生物学的思路来优化神经网络,比如模拟生物钟来调整激活函数,结果发现这样能让模型更快找到好的解法。
物理学家和工程师们可以看看这个,用神经网络来推断等离子体物理中的关键参数,比传统方法更高效。
想用AI处理CAD模型的朋友看过来,这个新方法能解决模型表示不一致导致的问题,让AI处理更稳定。
这篇论文揭示了稀疏自编码器训练中存在一种新的扩散相,挑战了传统优化理论对特征合并的预期。
这篇论文揭示了Transformer内部工作原理,展示了如何直接读写模型组件,对理解模型机制很有价值。
这篇论文揭示了神经网络如何通过隐式符号结构实现高性能,为理解AI工作机制提供了新视角。
这篇论文解决了算子学习中边界条件处理的难题,适用于任意网格数据和一般几何形状。
这篇论文提出了一个名为ICON分解的新方法,用于更准确地评估深度神经网络中各个概念的重要性,对于模型审计和可解释性研究具有重要意义。与现有的基线方法相比,它能够提供更可靠的解释,对于理解模型的决策过程非常有帮助。
这篇论文提出了一个新颖的解剖信息神经网络模型,通过引入解剖先验来提高解剖模型的准确性,对于需要精确解剖信息的领域如血管手术和内血管导航具有重要意义。