#ERNIE-5.5-Flash-Base

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「ERNIE-5.5-Flash-Base」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月17日
arXiv 论文提出 benchleaking 概念:测试题进入预训练数据,ERNIE-5.5-Flash-Base 泄露 96% HumanEval 题目

用 20 个基准实测了 4 个开源 base 模型的“背题”程度,ERNIE-5.5-Flash-Base 直接把 96% 的 HumanEval 连答案背出来了,DeepSeek 只漏 9%。做模型评测或选底座的人应该看看 Anti-Hack 这个分数怎么算。

arXiv cs.AI@Yiwei Qin 等 8 人原文