微调能换来多少解码确定性?边际正则化抑制批处理导致的 token 翻转
一篇挺有意思的研究:贪心解码其实不是确定性的,同一 prompt 换个 batch 就可能输出不同 token。作者用 logit 边际正则化在 GSM8K 上把发散率从 53.8% 压到 38.1%,代价 1-3 个准确率点。做需要可复现输出的服务或评测的同学可以看看。
一篇挺有意思的研究:贪心解码其实不是确定性的,同一 prompt 换个 batch 就可能输出不同 token。作者用 logit 边际正则化在 GSM8K 上把发散率从 53.8% 压到 38.1%,代价 1-3 个准确率点。做需要可复现输出的服务或评测的同学可以看看。
一篇优化器理论论文:解释了 Adam 在幂律测量谱下为什么会莫名卡住,给出了能预测失效起点的公式,做低秩优化的可以看看。
一篇挺有意思的论文:同样的模型和提示,BF16 和 FP16 居然输出不一样,作者还给出了低于 4% 延迟开销的修复方法。
这篇论文把DeepSeek-V4-Flash的MoE数值细节挖得很深,归约顺序不同结果就不同,跑推理时得留神。