#信息论

共 16 条 · 7 天 0 条 · 30 天 3 条

AI安全 1 Courtade–Kumar 1 EARL 1 Fisher 信息 1 SLIDER 1 Step-RRI 1 Trajectory-RRI 1 任务感知压缩 1

信息流里打上「信息论」标签的资讯、产品与论文，按刊登时间排，新的在上。

11月6日

论文 Agent 与开发者11:31

EARL 框架提出表示学习的两种涌现压缩模式

这篇论文把神经网络表示的不变性拆成两种压缩模式，还给出时间上的先后证据，做表示学习研究的可以看看。

#EARL #表示学习 #Fisher 信息 #信息论

arXiv cs.LG@Hardik Rajpal, Dan Goodman原文

10月30日

论文政策与合规10:57

信息论视角下的AI可靠性与安全权衡及知识蒸馏动力学研究

把蒸馏里的安全退化问题做成了可计算的数学模型，还给出临界转变的可检验预测，做模型对齐和蒸馏的人可以看看推导思路。

#知识蒸馏 #AI安全 #重整化群 #信息论

arXiv cs.AI@Miao-Miao Yi 等 4 人原文

论文 Agent 与开发者10:45

Streaming联邦学习在马尔可夫数据下的泛化差距分析

理论向论文，讲清楚了联邦学习中通信越频繁泛化反而可能变差这个反直觉结论，做分布式训练的可以看看。

#联邦学习 #泛化差距 #马尔可夫数据 #信息论

arXiv cs.LG@Masoud Kavian 等 5 人原文

10月4日

论文 Agent 与开发者12:49

越南数学家证明 2013 年提出的 Courtade–Kumar 猜想

两位越南数学家把悬了十多年的 Courtade–Kumar 猜想给证出来了，信息论圈的大事，数学爱好者别错过。

#Courtade–Kumar #信息论 #数学证明 #越南

VnExpress International: Tech原文

10月2日

论文 Agent 与开发者精选09:58

SLIDER框架解析大语言模型推理过程

清华团队推出SLIDER框架，能精准检测模型推理冗余，用Trajectory-RRI选数据可提升推理效率

#SLIDER #Step-RRI #Trajectory-RRI #推理模型

arXiv: DeepSeek@Barproda Halder 等 3 人原文

9月29日

论文13:36

arXiv 论文：任务感知压缩中的隐式感知约束研究

这篇论文讲压缩时顺便做分类怎么更省码率还提准确率，做图像压缩或多任务学习的朋友可以看看理论推导。

#神经压缩 #任务感知压缩 #信息论 #分类

arXiv cs.LG@Sahan Liyanaarachchi 等 4 人原文

8月25日

论文精选11:26

可证明自适应采样与均匀和重遮蔽离散扩散模型

这篇论文提出了一个新的采样器，提高了离散扩散模型的采样效率，对于想要了解最新采样技术的人来说是个好资源。

#离散扩散模型 #采样器 #去噪器 #自适应采样

arXiv cs.LG@Daniil Dmitriev 等 3 人原文

8月14日

论文11:18

机器学习决策系统的结构极限：信息论、交互与随机动力学视角

这篇论文把“模型为什么有性能天花板”从信息论和交互角度讲得很清楚，做LLM智能体的可以看看它怎么把系统当随机过程分析。

#Fano界 #Cramér-Rao不等式 #马尔可夫随机场 #智能体

arXiv cs.LG@Nestor R. Barraza, Gabriel Pena原文

7月21日

论文09:53

率失真感知理论：重新定义信息表示的基本极限

想搞懂压缩里的感知极限吗？这篇教程把率失真感知理论的计算方法和多种散度度量讲透了，比泛泛的综述实在得多。

#率失真感知理论 #压缩 #信息论 #感知质量

arXiv cs.LG@Photios A. Stavrou 等 3 人原文

7月15日

论文11:10

生成模型水印取证：信息论视角

这篇论文用信息论精确测量了水印取样的代价：归属N个用户需要多少个token，提取载荷需要多少，并在GPT-2等模型上验证了理论预测。

#水印 #信息论 #生成模型 #归属

arXiv cs.LG@Xiaoyu Li 等 6 人原文

7月10日

技巧 Agent 与开发者01:32

信息论可视化入门：熵与互信息的直觉指南

用图和直觉讲清信息论核心，适合想理解熵和互信息的任何人，不需要高深数学。

#信息论 #可视化 #熵 #互信息

elvis@omarsar0原文

6月30日

论文12:12

神经流形中的信息挫折：香农瓶颈与可学习性的极限

这篇论文用熵来解释深度学习泛化的硬极限和grokking，还给了EGD优化算法，理论研究者可以看看。

#深度学习理论 #信息论 #泛化 #grokking

arXiv cs.LG@Srinivasa Rao P., Vangmayi P Reddy原文

6月9日

论文精选12:11

用全息简化表示实现神经解耦：一种符号化方法

解耦是机器学习长期难题，这篇用全息简化表示把离散符号结构引入神经网络，做无监督学习的团队值得关注——它既保持了可微分性，又比连续表示更抗噪，理论分析也扎实。

#解耦学习 #全息简化表示 #无监督学习 #符号表示

arXiv cs.LG@Jhonny J. Velasquez Olivera 等 3 人原文

论文精选10:27

定量承诺理论：自主智能体的意图与推理

做多智能体系统、主动推理或概率建模的研究者会感兴趣——承诺理论提供了一种避免概率陷阱的新框架，值得深入阅读。

#承诺理论 #自主智能体 #主动推理 #贝叶斯概率

arXiv cs.AI@Mark Burgess原文

6月3日

论文精选10:44

形式化绑定问题：ViT模型如何知道特征属于同一物体？

做视觉AI的开发者会关心：你的ViT模型真的理解“蓝色圆形”是一个整体吗？这篇论文给出了量化绑定信息的方法，值得点开看看如何诊断模型的结构性盲点。

#绑定问题 #Vision Transformer #信息论 #视觉推理

arXiv cs.LG@Lianghuan Huang 等 6 人原文

6月2日

论文11:14

随机块模型中有限查询的社区恢复

这篇论文揭示了自适应查询在社区恢复中的理论优势，做图算法或网络分析的学者值得关注，看完会对数据获取策略的设计有新的启发。

#随机块模型 #社区恢复 #自适应查询 #图算法

arXiv cs.LG@Sabyasachi Basu 等 4 人原文