Amazon 与 UMass 论文:LLM critic 在 AutoML 搜索中收益有限
Llama-3.1-8B 当搜索 critic 反而在 7/8 个数据集上拖后腿,最多丢 0.245 AUC,而理想 critic 也只能赚 0.005。做 agent 或 AutoML 的人该看看,加反思模块前先跑个无 critic 基线对比再说。
Llama-3.1-8B 当搜索 critic 反而在 7/8 个数据集上拖后腿,最多丢 0.245 AUC,而理想 critic 也只能赚 0.005。做 agent 或 AutoML 的人该看看,加反思模块前先跑个无 critic 基线对比再说。