HumanEval+ 相关 AI 资讯 · AITOP · AI热报

9月2日

09:39

09:39

官方账号arXiv cs.AI@Will Badr

研究测试了Qwen2.5-3B-Instruct和Phi-3.5-mini模型在HumanEval+和MBPP+基准上的表现。相关提示词能分别挽救36/79和42/101个失败案例，但大多数被挽救的解决方案通过普通采样也能达到。全文本规范解决了24个问题中的22个，而虚拟KV前缀仅解决5-11个。

论文 Qwen2.5-3B-Instruct Phi-3.5-mini 代码生成

推荐理由：这篇论文揭示了代码生成模型中提示词的实际作用，告诉你哪些提示真正有效，哪些只是表面功夫。

6月16日

12:06

12:06

官方一手arXiv: DeepSeek@Mehmet Iscan

针对参数不超过1.5B的冻结小代码模型，研究在无需微调下通过后验验证操作提升程序正确性的效果。在匹配计算量的泄密自由协议下，评估了26种语义后验算子（选择、验证、修复、消除等），均未能在HumanEval+和MBPP+上超越Best-of-N (BoN)的留出准确率。研究发现覆盖墙、能力剪刀差和空共识陷阱是根本原因。唯一带来精度提升的算子M1通过表达层恢复标准提取器丢弃的正确程序，使DeepSeek-Coder-1.3B在HumanEval+上多解+12题（p=2.4e-4），且零伤害。自适应共识早停（ACE）节省约19%计算量且无伤害。

论文 DeepSeek-Coder HumanEval+MBPP+

推荐理由：这篇论文测了26种后验操作，结论是除了M1都没跑过最朴素的BoN。M1靠恢复被遗漏的正确代码，让DeepSeek-Coder-1.3B在HumanEval+上多解对12题，值得搞代码生成的同学看看。