#模型评测

共 117 条 · 7 天 18 条 · 30 天 58 条

智能体 11 Anthropic 9 LMArena 8 Agent Arena 7 基准测试 6 编程助手 6 Claude 5 Claude Opus 5.5 5

9月28日

技巧 Agent 与开发者精选73°01:21

用 Jev 当模糊 Linter：在 Agent harness 里区分 System One 与 System Two 模型

有人把 Jev 挂在 Agent 的代码编辑流程后当模糊 Linter 用，加了中置信度层后捕获量翻倍，做 Agent harness 的可以看看这套 setup。

#Jev #Agent #提示词工程 #模型评测

elvis@omarsar0原文

9月25日

产品 Agent 与开发者13:04

Agent Arena 排行榜上线：用真实长程智能体任务评测模型

LMArena 团队搞了个 Agent Arena 榜，不用考试题，直接看模型配搜索、终端工具干真实活儿的结果，选模型前可以去看看。

#Agent Arena #LMArena #智能体 #模型评测

lmarena.ai@lmarena_ai原文

产品 Agent 与开发者05:15

LMArena 更新模型竞技场排行榜

LMArena 的排行榜改版了，想选模型可以先去这里看看各家的盲测投票排名，比看跑分更贴近真实使用。

#LMArena #排行榜 #模型评测

lmarena.ai@lmarena_ai原文

产品 Agent 与开发者04:51

Arena 推出改版后的排行榜总览页面

Arena 把所有排行榜整合到了一个页面，查 GPT-6 Sol 或 Claude Opus 5.5 的分数和各类别排名不用来回切了。

#Arena #LMArena #模型评测 #排行榜

lmarena.ai@lmarena_ai原文

模型 Agent 与开发者01:57

DetroitBench 评测：让 23 个模型扮演谈判专家应对仿生人劫持

用底特律：化身为人式的剧情考模型，23 个模型里 6 个见死不救，看各家模型的道德选择差异

#DetroitBench #模型评测 #推理模型

向阳乔木@vista8原文

论文 Agent 与开发者多源确认73°00:45

JEV 论文：廉价评审级联可省约 43% 评测成本

一篇讲怎么省评测钱的论文：便宜的 JEV 先判断，拿不准的才丢给 GPT-6，成本砍掉四成多，准确率几乎不掉。

#JEV #GPT-6 #LLM-as-a-Judge #RewardBench

DAIR.AI@dair_ai11 个信源在谈原文

模型中美对照多源确认83°00:01

MiMo-V2.6-Pro、Claude Opus 5.5 等四款模型刷新性价比前沿

Claude Opus 5.5 拿下 58 分登顶，但 $0.13 的 MiMo-V2.6-Pro 得分 46，性价比党可以直接看这张图选模型。

#Claude Opus 5.5 #MiMo-V2.6-Pro #GPT-6 #推理模型

官方账号Artificial Analysis@ArtificialAnlys7 个信源在谈原文

9月24日

论文 Agent 与开发者09:23

研究评估预训练模型对 AI 生成教育题目的布鲁姆分类效果

想做 AI 出题自动质检的可以看看：论文实测了 LLM、BERT、传统 ML 在布鲁姆分类上的 OOD 表现，LLM 拿到 0.79 的 F1，还给了几个低成本补救手段。

#Bloom Classifier #LLM #BERT #教育评估

arXiv cs.AI@Michael Lawrence Castanares 等 3 人2 个信源在谈原文

模型中美对照多源确认83°05:17

Arena 上线 Claude Opus 5.5 与 GPT-6 Sol 对比输出

Claude Opus 5.5 和 GPT-6 Sol 都上了 Arena，可以直接并排看两个模型的输出，还能自己上手测。

#Claude Opus 5.5 #GPT-6 Sol #OpenAI #Anthropic

lmarena.ai@lmarena_ai11 个信源在谈原文

9月23日

论文 Agent 与开发者10:22

研究：类型安全决策模型仍会受选项名称语义干扰

做结构化输出的人该看看：选项叫 0/1 还是 no/yes 能让 AUC 从 .94 掉到 .23，类型校验根本拦不住这种错。

#Jev #类型安全 #决策模型 #模型评测

arXiv cs.AI@Yu Sun, Junhao Xu原文

模型中美对照多源确认83°03:02

Cognition 评测：GPT-6 Sol 读取上下文比 GPT-5.6 Sol 少约 17%

Cognition 跑了 GPT-6 两个型号的编程实测：Sol 省了 17% 上下文还少留烂尾测试，Luna 会写真回归测试了，写代码的可以看看。

#GPT-6 #OpenAI #编程助手 #模型评测

Cognition@cognition_labs11 个信源在谈原文

模型中美对照多源确认83°02:46

Claude Opus 5.5 上线 Agent Arena，可投票实测智能体任务

Claude Opus 5.5 进 Agent Arena 了，你的 toughest prompt 能直接给模型出难题投票，还能看到它在 WebDev、Vision 等赛道的对战成绩。

#Claude Opus 5.5 #Anthropic #Agent Arena #智能体

lmarena.ai@lmarena_ai11 个信源在谈原文

9月22日

Jev 科学决策评测：12 个配置对比语义选择，延迟最低

有人把 Jev 当科学决策组件实测了一遍：20 道语义题跟 12 个配置比，它全对且延迟最低。

#Jev #模型评测 #语义决策 #科学工作流

arXiv cs.AI@Boyuan Deng 等 4 人原文

别只信排行榜：通用 LLM 评测的五大局限与任务专属评估

选模型前别光看榜单分数，这篇论文把通用排行的坑掰开讲了五种，还给了个众包评测的路子。

#Isotanta #LLM #基准测试 #模型评测

arXiv cs.AI@Danial Amin原文

论文 Agent 与开发者09:26

Fireworks AI：路由让 113 个编码任务解题率达 97.6%

Fireworks AI 测了 18 个模型：把任务路由给最擅长的那个，比单用最强模型更准也更省。

#Fireworks AI #DeepSWE #模型路由 #模型评测

Fireworks AI@FireworksAI_HQ原文

模型中美对照多源确认精选78°06:23

Grok 4.7 紧追 GPT-6 Astra，Kimi K3 平 Fable 5.1

有人用同一提示词让四款模型写飞行模拟器，Grok 4.7 差点追平 GPT-6 Astra。

#Grok 4.7 #GPT-6 Astra #Kimi K3 #编程助手

eric zakariasson@ericzakariasson11 个信源在谈原文

模型中美对照多源确认91°06:21

Grok 4.7 登陆 Agent Arena，同价较 4.6 有显著提升

Grok 4.7 上线 Agent Arena 了，拿你最难的提示词去投票实测，看比 4.6 强多少。

#Grok 4.7 #Agent Arena #智能体 #模型评测

lmarena.ai@lmarena_ai11 个信源在谈原文

模型中美对照多源确认75°01:25

Grok 4.7 发布，上线 Agent Arena 接受真实智能体任务评测

Grok 4.7 上 Agent Arena 了，拿真实智能体任务投票打分，想看排名可以去投一票。

#Grok #Agent Arena #智能体 #模型评测

lmarena.ai@lmarena_ai4 个信源在谈原文

9月3日

FrontierHarness Eval 发布模型性能评测

Guanlan 测了 9 个模型，通过率差 17%，成本差 17 倍，帮你选最划算的。

#FrontierHarness Eval #Pi #Exo #Claude Code

elvis@omarsar0原文

8月20日

模型精选07:36

Agent Arena发布新模型评测标准

Agent Arena发布了新模型评测标准，用多种工具测模型实际能力，比普通评测更全面。

#Agent Arena #模型评测 #工具测试

lmarena.ai@lmarena_ai原文

8月17日

电商模型测评：从真实需求到仿真验证

做电商AI的可以看看，这篇讲怎么设计评测才不脱离实际，比看一堆榜单有用。

#模型评测 #电商AI #仿真环境

爱范儿@Selina原文

8月15日

论文精选00:14

Meta新论文：LLM裁判被质疑时判决翻转率25%-91%

Meta用Wiggle框架折腾了9个前沿模型，发现LLM裁判一被追问就翻案，最高91%翻转，这评测挺扎心。

#Meta #Wiggle Framework #LLM裁判 #模型评测

elvis@omarsar0原文

8月14日

产品多源确认09:26

Notion推出Knowledge Board：基于真实任务的模型评测

Notion搞了个新评测，用真实用户任务测模型，看谁成功率高又省时省钱，比传统benchmark更实用。

#Notion #Knowledge Board #模型评测 #基准测试

Akshay Kothari@akothari3 个信源在谈原文

模型中美对照精选03:02

Gemini 3.7 Flash (High) 在 Text Arena 升至第9，得分1490

Gemini 3.7 Flash在Text Arena冲到第9，创意写作第3，数学第4，跟Qwen-3.8和Claude Opus 5只差几分。

#Gemini 3.7 Flash #Text Arena #Qwen-3.8 #Claude Opus 5

lmarena.ai@lmarena_ai原文

8月13日

Image-to-Video Arena排行榜详情开放查看

想给图生成视频选模型？直接去arena.ai看排行榜详情，谁强谁弱一目了然。

#Image-to-Video Arena #arena.ai #视频生成 #模型评测

lmarena.ai@lmarena_ai原文

模型中美对照18:11

DeepSeek V4 Pro正式版被曝仅比Flash高1分，涨价或取消

DeepSeek V4 Pro正式版被曝比V4 Flash只强1分，涨价还可能取消，买之前建议先看看这条。

#DeepSeek #V4 Pro #V4 Flash #模型评测

orange.ai@oran_ge原文

LMArena发布AutoEval自动评测方法论视频与文章

LMArena这段视频把AutoEval评测方法讲得挺清楚，还配了文章，想研究模型评测的可以戳进去看看。

#LMArena #AutoEval #模型评测

lmarena.ai@lmarena_ai原文

Arena.ai 发布排行榜详情与 AutoEval 介绍

Arena.ai 发了排行榜和 AutoEval 介绍，想对比模型表现和了解自动评估方式的可以看看。

#Arena.ai #AutoEval #模型评测

lmarena.ai@lmarena_ai原文

8月12日

Solar Pro 4 在 Code and Text Arena 排名揭晓

想知道 Solar Pro 4 在代码和文本任务上的真实水平？直接去 arena.ai 看排行榜，一目了然。

#Solar Pro 4 #Code and Text Arena #排行榜 #模型评测

lmarena.ai@lmarena_ai原文

8月11日

Code Arena上线WebDev评测，可自行测试并查看排行榜

想挑个代码生成强的模型？去 Code Arena 的 WebDev 自己试一把，完了直接看排行榜就行。

#Code Arena #WebDev #模型评测 #排行榜

lmarena.ai@lmarena_ai原文

Image Arena 开放模型自测，查看完整文生图排行榜

Arena 开了个文生图擂台，你可以自己上去测模型好坏，不用光看别人打分。

#Image Arena #Text-to-Image Arena #文生图排行榜 #模型评测

lmarena.ai@lmarena_ai原文

8月8日

模型中美对照多源确认03:59

Agent Arena：Opus 5 token消耗升至21k，GPT-5.6-Sol效率反升

看Opus 5和GPT-5.6-Sol在同一基准上的表现，一个越强越费token，一个越强越省，挺有意思的对比。

#Agent Arena #Opus 5 #GPT-5.6-Sol #token效率

lmarena.ai@lmarena_ai8 个信源在谈原文

8月4日

模型74°23:41

Agent Arena 以数百万真实长程任务评测智能体模型

想知道哪个模型最能搞定真实长任务？Agent Arena 用几百万个任务跑分，还给模型上网、文件、终端工具，比谁净提升大。

#Agent Arena #智能体 #模型评测 #长程任务

lmarena.ai@lmarena_ai原文

技巧 Agent 与开发者14:41

DeepSeek V4 Flash 0731成模型下限中间档大模型尴尬

博主实测观点：难活丢给GPT-5.6或Claude，便宜活找DeepSeek V4 Flash，中间模型别浪费钱。

#DeepSeek V4 Flash 0731 #GPT-5.6 #Claude #模型选择

Geek@geekbb原文

OpenRouter推出Ori Eval：用项目实测给模型打分选型

OpenRouter出了个Ori Eval，能拿你项目的真实任务给模型打分，谁分高用谁，选模型不用瞎猜了。

#OpenRouter #Ori Eval #模型评测 #选型

Geek@geekbb2 个信源在谈原文

8月3日

模型中美对照多源确认精选12:17

Qwen3.8-Max以1668分居Frontend Code Arena第四

阿里新模型Qwen3.8-Max代码榜排第四，1668分，输入输出token价格只要2美元和6美元，性价比很能打。

#Qwen3.8-Max #阿里巴巴 #前端代码生成 #模型评测

lmarena.ai@lmarena_ai10 个信源在谈原文

8月2日

行业多源确认75°14:40

Gary Marcus看衰OpenAI Astra：缺少细节和独立验证

Gary Marcus对OpenAI Astra的数学表现泼冷水：没公开细节，没独立验证，别急着吹。

#OpenAI #Astra #Gary Marcus #数学推理

Gary Marcus@GaryMarcus11 个信源在谈原文

行业多源确认01:34

Gary Marcus 质疑 OpenAI 对 Astra 能力宣传，称回避技术局限

Gary Marcus 发推怼 OpenAI：别光吹 Astra 万能，连数学行不行都存疑。围观他怎么拆台。

#Astra #OpenAI #Gary Marcus #模型评测

Gary Marcus@GaryMarcus11 个信源在谈原文

8月1日

模型中美对照多源确认01:08

DeepSeek V4 Flash 升版后追平 GPT-5.6 Luna，成本低约60%

DeepSeek 把 V4 Flash 升到 0731 版，性能只比 GPT-5.6 Luna 低 1 分，成本却省六成，平价模型也能打了。

#DeepSeek #V4 Flash #GPT-5.6 Luna #模型评测

官方账号Decoder@Thomas Joos11 个信源在谈原文

7月31日

Arena.ai 推出 AutoEval：基于数百万真实用户偏好的奖励模型评测方法

Arena.ai 出了 AutoEval，用真实用户偏好训练奖励模型，几个小时就能评测新模型，比人工快几十倍，结果还跟人工差不多。

#AutoEval #Arena.ai #奖励模型 #模型评测

向阳乔木@vista82 个信源在谈原文