Shot 在当前 AI 语境下通常指 one-shot(单次尝试)式生成:模型在没有多轮修改的前提下,仅凭一次指令或一次运行就完成任务并交付结果。它既是对提示词工程能力的极限测试,也正在成为衡量模型工具调用、代码生成质量的新基准——能否一次性跑通,越来越被视为模型真实水平的试金石。
one-shot 生成的近期进展
当前焦点与观察点
围绕 Shot(单次尝试式生成)的讨论核心有两个:一是评测可信度,benchleaking 概念的提出揭示了预训练数据污染问题——据 arXiv 论文:测试题进入预训练数据,ERNIE-5.5-Flash-Base 泄露 96% HumanEval 题目,某模型在 HumanEval 上泄露比例高达 96%,单次通过率可能高估真实能力;二是成本与效果权衡,Felix Rieseberg 案例 约 550 美元的成本说明复杂项目的一次性生成仍不便宜。后续值得观察的是工具增强型小模型在 one-shot 场景中能否持续逼近甚至反超大模型,以及更严格去污染的基准会否改写现有排名。