研究发现长文本生成退化的关键在采样器而非模型训练
写代码智能体或者长文生成经常跑崩的朋友可以看看这篇。作者测了 29 个开源模型,发现崩不是模型问题,是 top-p 在高温下候选 token 池爆炸,换成 top-nsigma 同样的 Qwen3.5 智体能从解 0 题变成解 60 多题,代码全开源直接能用。
写代码智能体或者长文生成经常跑崩的朋友可以看看这篇。作者测了 29 个开源模型,发现崩不是模型问题,是 top-p 在高温下候选 token 池爆炸,换成 top-nsigma 同样的 Qwen3.5 智体能从解 0 题变成解 60 多题,代码全开源直接能用。