加提示词后同一模型失败率从 75.1% 降至 6.3%
Perplexity 放出实测数据:不换模型只加提示词,失败率就从 75.1% 降到 6.3%,做工具调用的值得对比下自己的数字。
Perplexity 公布了一组测试数据:不给模型做任何更新,仅在推理时加入提示词(hints),模型在原本会失败的案例中 93.
7% 的情况下成功避开失败,此前为 75.1%。
另一项独立实测中,两版模型在不加推理时提示的条件下,工具调用失败率从 2.24% 降到 1.
77%。数据说明提示词设计与模型训练都能降低工具调用错误,两条路径可分别量化。
With hints, the unchanged model avoided the original failure in 93.7% of cases, up from 75.1% In a separate live test, tool-call failures fell from 2.24% to 1.77% between trained versions, without hints at inference time.📊 1 ⚡
本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Perplexity、提示词工程、工具调用,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Perplexity」(@perplexity_ai),经 AITOP 多维评分管线结构化提炼。