HiLo-RD：用跨预算自蒸馏提升掩码扩散语言模型小窗口推理

HiLo-RD（High-to-Low Budget Representation Distillation）针对掩码扩散语言模型（MDLM）在低生成预算下的问题，提出让大窗口教师状态与小窗口裁剪视图配对，并在已提交位置匹配隐藏表示的自蒸馏方法。论文指出模型存在预算导致的过早提交现象：正确解尚未完成中间推理时，答案片段已在窗口边界附近被固定，进而误导后续预测。在 GSM8K 上，该方法将低预算准确率提升 9.4 个百分点，平均可读长度下降约 25%。改进还迁移到代码生成任务，且无需代码域训练。