微软研究:不改训练,靠 harness 让 Llama3-8B 长上下文平均提升 64.18 分
微软这篇论文挺反直觉的:不训练模型,光靠 GPT-5.6-Sol 写的 harness 就让 Llama3-8B 在 HELMET、RULER 上多拿 64.18 分,还超过 NExtLong 这类靠数据训练的方案,成本不到一半。做小模型长上下文优化的开发者应该先看看这个思路。
微软这篇论文挺反直觉的:不训练模型,光靠 GPT-5.6-Sol 写的 harness 就让 Llama3-8B 在 HELMET、RULER 上多拿 64.18 分,还超过 NExtLong 这类靠数据训练的方案,成本不到一半。做小模型长上下文优化的开发者应该先看看这个思路。