LMArena 开源 ArenaWebdevPreferences 与 ArenaWebdevCorrectness 两个网页开发数据集
LMArena 这波开源对做前端生成模型评测的人挺有用：6,390 对真人偏好标注加 189 个游戏版本的功能验证数据，拿去就能给自己的模型跑对比测试，比只看 pass@k 这种自动指标靠谱。写论文或搞评测基座的团队可以直接下。
LMArena 团队宣布开源两个面向网页开发评测的数据集：ArenaWebdevPreferences 包含 6,390 个应用配对及人工偏好标注，ArenaWebdevCorrectness 则覆盖 189 个游戏版本和 362 条经人工核验的需求。二者配套论文发表于 arXiv（编号 2610.17895），数据集可直接下载用于模型评估。偏好数据集通过真人对比多个模型生成的应用来打分，正确性数据集则逐条验证生成结果是否满足明确需求，两种标注方式分别对应主观偏好和客观功能正确性。
这类人工标注数据的价值在于填补现有基准的空白：网页开发类模型的输出往往功能相似但体验差异大，纯自动指标难以区分。ArenaWebdevPreferences 的 6,390 对样本让研究者可以分析人类在哪些维度上偏好某个模型的输出，ArenaWebdevCorrectness 的 362 条需求则可用于测试模型在游戏这类交互应用上能否真正满足规格。这是 LMArena 在聊天竞技场之外向垂直领域评测扩展的动作，与 Chatbot Arena 的众包评分思路一脉相承。
We're open-sourcing two datasets: ArenaWebdevPreferences (6,390 app pairs with human preference labels) and ArenaWebdevCorrectness (189 game versions, 362 human-verified requirements). Paper: arxiv.org/abs/2610.17895 Blog: arena.ai/blog/interacti… Contribution team: @iamwaynechi , @IHung_Hsu , @lichen225 , @infwinston , @istoica05 , @ml_angelopoulos , @atalwalkar , @chrisdonahuey , @cho_jui_hsieh
本条情报归属 AITOP「模型」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：LMArena、ArenaWebdevPreferences、ArenaWebdevCorrectness、开源模型，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「lmarena.ai」（@lmarena_ai），经 AITOP 多维评分管线结构化提炼。
