研究：用户对同样的 AI 聊天机器人评价随时间越来越苛刻
基于126万条Chatbot Arena盲投数据，发现用户口味越来越刁，冻结模型的差评率每月涨1.71个百分点，但排名不变。做模型评估或看榜选型的人值得记住这个偏差，分数下滑不一定是模型变差。
一项基于 Chatbot Arena 1,260,967 次盲投票的研究发现，用户对完全相同的模型评价会随月份递减。研究只保留冻结模型的配对（如带日期的快照和固定权重的开源模型），确保模型本身没有变化。数据显示，在同一对模型上，"两个都很差"的投票每月上升 1.71 个百分点，该选项的平均占比为 17.1%。
有趣的是，2024 年中较强模型在决定性投票中的获胜份额基本不变，说明排名结构保持稳定。也就是说，模型之间的相对排序可靠，但"差评漂移"让不更新的模型在 Arena 上看起来越来越差。研究者在 X 上发布了这一发现，指出不变动的聊天机器人会随时间被动失分。
这对依赖 Chatbot Arena 榜单的开发者和企业有直接影响：榜单分数的变化可能反映用户期望值上升，而非模型能力下降。评估冻结模型的历史分数时，需要考虑这种时间性偏差，避免误判模型退步。
People rate the exact same AI chatbots more harshly each month, so a chatbot that never changes starts to look worse.
They studied 1,260,967 blind votes on Chatbot Arena, where people compare answers from 2 anonymous models. They kept only pairs of frozen models, such as dated snapshots and fixed open weights, so the models never changed.
On the same pair, "both are bad" votes rose 1.71 percentage points a month, on a 17.1% average. Yet in 2024 the stronger model won about the same share of decisive votes, so rankings held.
本条情报归属 AITOP「论文」核心追踪栏目。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：Chatbot Arena、模型评估、基准测试、用户偏好，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「rohanpaul_ai」（@rohanpaul_ai），经 AITOP 多维评分管线结构化提炼。
