Sampling(采样)是从模型的概率分布中选取输出的核心步骤:在生成式 AI 中,它决定了大语言模型生成哪些 token、扩散模型如何从噪声逐步还原图像或文本,因而在质量、效率、成本乃至公平性上都处于关键位置。近期围绕采样方法的研究呈现出明显分化:一边是效率与效果优化,另一边则开始正视采样过程本身可能放大的系统性偏差。
采样技术的近期进展
当前焦点与观察点
综合近期动态,采样研究有两个值得关注的走向。其一是“把采样成本内部化”:无论 OPPD 蒸馏替代多候选采样,还是索尼在游戏渲染中用预测式生成减少计算量,思路都是用一次性训练或额外结构换取推理时更少的采样次数。
其二是采样与公平性的交叉。此前已有研究用贝叶斯多臂老虎机在线挑选兼顾准确率与公平性的分类器,而扩散语言模型采样器放大性别偏见的发现进一步表明,采样这一看似中性的统计过程可能系统性放大训练数据中的偏见。对于部署方来说,评估一个生成系统时,采样策略的选择或将成为与模型权重同等重要的审计对象。
观察层面,可以留意两点:一是 Fork-First Sampling 这类修正方法能否被主流扩散语言模型采纳并验证其泛化性;二是确定性采样与随机采样在不同任务(推理、创意写作、代码生成)中的适用边界是否会更清晰。总体而言,采样正从“推理阶段的一个可调参数”演变为一个独立的研究与工程议题。