论文提出 Spherical Brownian Diffusion 语言建模扩散方法

一篇 arXiv 论文提出 Spherical Brownian Diffusion，以布朗运动作为球面上的各向同性扩散来构建连续扩散语言模型。该方法利用热半群给出前向过程、加性的维度无关噪声时钟和精确的 ancestral bridge。在 Sudoku 任务上，布朗与矩匹配 vMF 扰动在四个采样器、五个预算下结果几乎一致，而固定扰动后采样器选择在 180 次调用预算下带来 25.0 点的性能差异。作者进一步用 ancestral bridge 将采样器收益拆分为 Sudoku 和 GSM8K 上都存在的记忆效应，以及 GSM8K 上在小预算下最明显的 token 选择效应。