Garry Tan 开源 g-harness-evals：固定模型只换 agent harness 对比准确率与成本

Garry Tan 在 GitHub 开源了 g-harness-evals，用虚构公司 Pemberline 的模拟 Slack 办公场景测试 agent，共 20 道公开开发集任务。模型固定为 Opus 5.5 或 GPT-6.1 Sol，只更换 harness，对比 Claude Code、Codex、Hermes、OpenClaw 等方案。各 harness 准确率集中在 71% 到 79%，差距在 8-14 个百分点内无法确认，Garry 承认这套题接近饱和。真正拉开差距的是成本和速度：Sol 上 Codex 解一题约 0.17 美元、约 30 秒，OpenClaw 在 Opus 上则约 0.44 美元、99 秒。判分通过检查任务结束后的系统状态和事件日志，确认正确性、泄密和越权读取。