主要来源arXiv cs.LG
查看原文事件专题 ·单一信源
研究:测试时算力分配靠先验信息驱动,难度优先策略在难题上失效
一项研究测试了 LLM 在固定重复尝试预算下的算力分配问题,覆盖公开数学、代码和形式化证明样本。最佳的难度成比例分配规则在模型大多能解的基准上可拿到一半以上的 oracle 收益,但在困难任务集上最多只有 13%。对 221 篇 LLM 算力分配论文的严格综述发现,至少 13 篇采用“越难给越多”的策略,其设置恰好处于该策略近似最优的预算区间,代价在更难的任务上显现。用相关模型在同一批输入上的历史运行作为先验,配合验证器的 Thompson Sampling 把最难任务集的解题比例从 14% 提升到 27%;没有这种先验时,测试的所有策略都不如 round-robin。策略收益在先验秩相关性约 0.3 到 0.55 之间消失,且要求验证器的误接受率相对通过率足够低;在新的 Qwen2.5 样本上该模式依然成立。
当前结论
这篇论文把“难题多给几次尝试”这个常识拆穿了:真正起作用的是你知不知道哪些题能解。用相关模型历史跑出来的先验加 Thompson Sampling,最难的题从 14% 解到 27%,做推理调度的人值得看。
2 个信源37° AI 热度最后更新 2026/11/4 11:32:30
证据链
2 个信源相关来源 1DAIR.AI
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。