Gary Marcus:符号验证并非"基础"技术,SWE-bench 分数高度依赖 harness
Marcus 转了条推,讲为什么 SWE-bench 同一模型换个 harness 分数差很多,还捋了符号验证一百年学术史,观点挺硬核。
Marcus 转了条推,讲为什么 SWE-bench 同一模型换个 harness 分数差很多,还捋了符号验证一百年学术史,观点挺硬核。
用验证器帮语言模型修量子场论对偶声明,效果不错,deepseek-chat提升8个百分点,qwen-plus提升7个百分点,值得关注。