Bernoulli

general · 首次出现 2026-08-18 · 最近出现 2026-10-20 · 累计提及 7

综述

Bernoulli(伯努利)是概率论中最基础的离散分布,指只有两种可能结果的随机变量(取 0 或 1),在机器学习中广泛用于遮蔽、采样、dropout 和校准等场景。虽然它本身是经典数学工具,但近期多项 AI 研究都以 Bernoulli 变量作为核心机制,涉及强化学习、并行采样与世界模型校准等前沿方向。

Bernoulli 相关的近期进展

  • Google DeepMind 在 arXiv 发布的 Dynamics-Aligned Representation Learning:用随机遮蔽改进基于模型的强化学习 中,利用 Bernoulli 型的随机遮蔽策略训练表征,使模型更好地对齐环境动态,提升基于模型的强化学习效果。
  • Simon Willison 在博客中介绍了 TypeSafe AI 发布 Jev:只输出浮点数的决策模型。这类连续输出的设计引发了对 Bernoulli 式离散决策建模是否仍必要的一些讨论。
  • arXiv 论文 KL Before and After Mixing: A Round-Complexity Separation in Parallel Sampling 研究并行采样中独立 Bernoulli 采样混合前后的 KL 散度变化,从轮复杂度角度给出了严格的计算分离结果。
  • 论文 How Many Labels Does Model Choice Need? Certificates and Budgets for Selective Prediction 在选择性预测框架下,把模型选择的正确性建模为 Bernoulli 事件,推导了所需标注预算的证书机制。
  • CaliBench: Are the Stochastic Dynamics of Video World Models Physically Calibrated? 提出评测基准,检验视频世界模型的随机动态是否符合真实物理过程——而 Bernoulli 与伯努利分布恰是这类随机性校准中最常用的对照基线。
  • 当前焦点与观察点

    围绕 Bernoulli 变量的研究呈现出两条主线:一是作为建模工具,用简单的二值随机化(遮蔽、dropout、选择机制)换取表征和泛化能力;二是作为理论分析对象,在并行采样、选择性预测等场景中刻画二值随机性的复杂度与统计代价。此外,随着视频世界模型等生成式系统强调物理校准,Bernoulli 这类基础分布能否充分刻画真实世界的随机动态,也成为一个值得关注的评测问题。总体来看,Bernoulli 虽是最简单的分布之一,但在 2025 年前后的机器学习研究中依然活跃,既是工程实践中的默认组件,也是理论严格化的分析支点。

    相关报道

    5 条在档