Prefix-Guided Sampling:用短前缀置信度信号优化并行测试时扩展
采样前先用短前缀的置信度排个序,只补全有戏的路径,token 省了效果还更好。做推理加速、搞 test-time scaling 的人可以直接看这篇的理论部分和实现思路。
采样前先用短前缀的置信度排个序,只补全有戏的路径,token 省了效果还更好。做推理加速、搞 test-time scaling 的人可以直接看这篇的理论部分和实现思路。
一个能边收文本边给答案、还带置信度的模型,提取文档只要 150ms,号称比 Opus 5.5 便宜 75 倍,送 20M 免费tokens。
Meta 和密歇根州立大学测了 9 个模型,发现 Qwen3-32B 答子题还不如 8B,做推理图的先去查图本身再信置信度。
Jerry Liu 讲了置信度分数怎么用:阈值高少自动但更准,低了反之,还拿 ExtractBench 跑了实测数据。
Fork-Think让LLM推理更省钱省时间——先找准关键点再思考,token少用30%,速度快57%,效果还不输并行方法。
做社会科学量化分析的团队终于有了校准LLM输出的实操方案——软标签蒸馏能显著降低置信度偏差,建议做文本编码和实证研究的点开看看具体方法。