同一模型不同评测框架结果不同:Hugging Face 工程师详解 harness engineering
同一个模型换个评测框架跑分就不一样,Hugging Face 的工程师要在 AI Dev NYC 现场讲怎么搭靠谱的 harness,搞评测的可以去听。
同一个模型换个评测框架跑分就不一样,Hugging Face 的工程师要在 AI Dev NYC 现场讲怎么搭靠谱的 harness,搞评测的可以去听。
有人拿自建 harness 实测了 Jev 路由,性能能追平 GPT-6 Astra low,代价是跑得更久。文章还讨论了为什么公开基准分数别太当真。