采样优化相关 AI 资讯 · AITOP · AI热报

8月19日

11:41

11:41

官方账号arXiv cs.LG@Travis Zhang, Christian Belardi, Justin Lovelace, Jin Peng Zhou, Saebyeol Shin, Carla P. Gomes, Kilian Q. Weinberger

扩散模型采样通常需要多次神经网络前向传播，计算成本高昂。研究提出OYS方法，将时间步选择视为黑盒优化问题，直接使用贝叶斯优化目标指标。该方法在文本生成和图像修复任务上均优于默认采样方案，5步OYS采样可保留50步采样的89%-94%质量，同时降低10倍推理成本。

论文扩散模型贝叶斯优化 OYS

推荐理由：OYS方法用贝叶斯优化调整扩散模型采样，5步就能达到50步的质量，速度提升10倍，还不需额外训练。

8月17日

10:18

10:18

官方账号arXiv cs.AI@Toby D. Pilditch

arxiv 论文提出 optstop 框架，将大模型评测视为序贯测量问题，只对不确定性高的样本继续采样。该框架基于分层贝叶斯推断，支持二值、有序和连续结果，无需校准题库。在 200 项、10 轮次的示例评测中，optstop 在九种验证设置下减少了 57% 到 97% 的计划试验，整体结论与完整评测一致。研究表明评测算力可按不确定性分配，而非固定重复次数。

论文 optstop 贝叶斯推断 LLM评测

推荐理由：跑大模型评测总烧钱？这个框架能省下最多97%的采样次数，结论还一样，做评测的人值得看看。

5月29日

00:33

00:33

AK@_akhaliq

该研究提出了一种名为对比分布匹配（Contrastive Distribution Matching）的新方法，用于改进离散扩散模型中的摊销序贯蒙特卡洛（Amortized Sequential Monte Carlo）采样。该方法通过对比学习优化分布匹配，显著提升了离散扩散模型的采样效率和质量。实验表明，该方法在多个基准任务上优于现有技术，为离散扩散模型的实用化提供了新思路。

论文离散扩散对比学习序贯蒙特卡洛

推荐理由：离散扩散模型在文本、图结构等离散数据生成中至关重要，但采样效率一直是瓶颈。这篇论文提出的对比分布匹配方法直接解决了这个问题，做生成模型研究的开发者值得关注。