Typed Decision Model 能否取代微调分类器?团队在 24 篇 ACL 论文上实测
一项发表于 arXiv 的研究(编号 2611.20191)用 TypeSafe 的 Typed Decision Model Jev 替换了 24 篇 ACL 论文中的任务分类器,保留每篇论文的数据切分、标签定义和评测指标,并借助 Cloudflare 的 Clef、Microsoft-Decision-1 和 OpenAI 的 GPT-6 Luna Decisions 交叉核验结果,最终形成包含 46 个英文测试集的 TDM-Gauntlet 基准。零样本提示下,Jev 直接在 46 个测试集中的 12 个上达到或超过原论文方法,主要集中在标签含义直白的单一判断任务;表现落后的场景多为原方法在自有标签上训练过、且标注约定未体现在标签名称中的情况。在给 500 条训练标签加验证集、不管理 GPU 的条件下,校准加 GEPA 风格提示优化能弥合与原论文方法差距的中位数 72%,约为现成 GEPA 效果的两倍,单次搜索成本中位数 1.66 美元。同一批标签下,RoBERTa 和 DeBERTa 等微调编码器弥合 59%,对开源模型 Qwen3.8-27B 做 LoRA 微调则达 97%。结论是微调仍是精度上限最高的方案,但标签语义清晰时零样本提示已够用,提示优化能覆盖大部分剩余差距。
当前结论
做文本分类的朋友看过来:研究者拿 Jev 换掉了 24 篇 ACL 论文里的微调分类器,零样本就能赢下 12/46 个测试集。加上 500 条标注和提示优化(中位成本 1.66 美元)能追回 72% 差距,比 LoRA 微调 Qwen3.8-27B 的 97% 还差一截,但省掉了管 GPU 的麻烦。想快速上分类基线的团队可以直接抄这套流程。
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。