模型评测相关 AI 资讯

行业 Agent 与开发者多源确认22:11

Forge '26 大会 11 月 3 日在旧金山举行，免费但需申请

Fireworks AI 办的 Forge '26，黄仁勋和 DHH 都来聊，免费票但要申请，想听一线团队怎么选模型、做评测的可以冲

#Fireworks AI #NVIDIA #Jensen Huang #开发者大会

事件专题

Ate-a-Pi@svpino11 个信源在谈原文

模型中美对照多源确认05:06

Astra 因定价被低估，盲测表现优于 Opus

Astra 被价格拖累低估了，作者说盲测里普通人比 Fable 更喜欢它，甚至比 Opus 更会聊天。

#Astra #Opus #Anthropic #模型评测

事件专题

Bindu Reddy@bindureddy11 个信源在谈原文

模型中美对照12:35

V4.1-1017 评测：智能体任务大幅提升，浏览器使用却出现回退

一份按任务拆开的模型评测：智能体和推理涨了，浏览器操作反而掉分，价格还便宜一半，信息挺细。

#V4.1 #模型评测 #智能体 #推理模型

Teortaxes@teortaxesTex原文

行业16:12

AI 安全评估机构逐渐走向行业中心位置

讲的是专门给 AI 模型做安全评测的机构，之前很少有人注意，现在需求越来越大，想了解行业全貌可以看看。

#AI安全 #模型评测

VnExpress Số hóa原文

模型 Agent 与开发者07:43

Nemotron 3.5 Super VL 浏览器使用测试获 48.5 分，落后 GPT-6 Luna

browser_use 跑了 NVIDIA 的 Nemotron 3.5 Super VL，浏览器任务得 48.5 分，被 GPT-6 Luna 的 67.7 分压过，成本还高 61%，想选浏览器自动化模型的可以看看。

#Nemotron #GPT-6 Luna #browser_use #浏览器自动化

Browser Use@browser_use原文

模型中美对照07:17

Meta Muse Spark Open 测试速报：复杂算法尚可，空间理解拉胯

有人实测了 Meta 新开源的 Muse Spark Open，结论是打不过 DeepSeek-v4.1-flash，还特能幻觉，想本地部署的先看看再决定。

#Muse Spark Open #Meta #DeepSeek #开源模型

karminski-牙医 (AI工具)@karminski3原文

产品 Agent 与开发者07:14

WebDev Arena 代码竞技场排行榜上线 arena.ai

喜欢用 AI 写网页的朋友可以看看这个 WebDev Arena 排行榜，能看到各模型在真实开发任务里谁更强，选模型时有个参考。

#WebDev Arena #LMArena #编程助手 #模型评测

lmarena.ai@lmarena_ai原文

产品 Agent 与开发者00:00

Artificial Analysis 更新 Optima，支持自定义模型基准测试

Artificial Analysis 的 Optima 更新了，现在能用你自己的任务建基准，从智能、成本、速度三个维度对比各家模型。

#Optima #Artificial Analysis #模型评测 #基准测试

官方账号Artificial Analysis@ArtificialAnlys原文

模型 Agent 与开发者05:33

OpenRouter 内部测试：Jev 1.13 准确率最高且成本最低

OpenRouter 自己造了套测试集，测出 Jev 1.13 比其他 Decisions 模型和 Claude Code 用的 Sonnet 5 又准又便宜，选型前可以看看。

#Jev 1.13 #OpenRouter #Claude Code #Sonnet 5

OpenRouter@OpenRouterAI原文

行业 Agent 与开发者多源确认01:41

METR 获得 Anthropic 前沿模型的员工级访问权限

专门给前沿模型做能力评测的 METR，现在能像 Anthropic 内部员工一样用模型了，评测结果会更靠谱。

#METR #Anthropic #AI安全 #模型评测

事件专题

Andrew Curran@AndrewCurran_11 个信源在谈原文

模型中美对照多源确认13:06

9 个模型总结《哈克贝利·费恩历险记》改动版，仅 Claude Fable 5 两次全部通过

有人改了《哈克贝利·费恩历险记》原文喂给 9 个模型测理解力，只有 Claude Fable 5 两次都过关，Gary Marcus 拿它说事，看看你用的模型表现如何。

#Claude Fable 5 #GPT-5.5 #Gary Marcus #模型评测

事件专题

Gary Marcus@GaryMarcus3 个信源在谈原文

模型 Agent 与开发者多源确认精选12:57

Claude Opus 5.5 与 Grok 4.7 离线3D重建埃菲尔铁塔，凭记忆写出全部72位科学家名字

让模型离线搭3D铁塔，Claude Opus 5.5 和 Grok 4.7 竟把塔上72个科学家名字全默写对了，Claude 还分对了朝向，这记性有点吓人。

#Claude Opus 5.5 #Grok 4.7 #Anthropic #3D生成

事件专题

官方账号Artificial Analysis@ArtificialAnlys11 个信源在谈原文

技巧中美对照83°12:46

Gemini 4 Argon 简评：重回第一梯队，但仍难取代 Claude 和 ChatGPT

Gorden Sun 实测了 Gemini 4 Argon，写作、编程、界面设计、文档分析四个场景都试了，还点名 Antigravity 拖后腿，深度用 Google Workspace 的人可以看看。

#Gemini 4 Argon #Google Workspace #Antigravity #Claude

Gorden Sun@Gorden_Sun原文

论文 Agent 与开发者12:30

PFR 测试揭示：类型化决策模型的 Fallback 机制反而引入错误

做请求路由或模型选择的可以看看：给模型留的兜底选项实测常出错，规则换个说法决策就变，这篇把坑测得很细。

#Typed Decision Models #PFR Test #模型评测 #开源模型

arXiv cs.AI@Yuanbo Xie 等 6 人原文

论文中美对照多源确认精选18:00

ServiceNow与McGill研究：AI裁判难以发现智能体任务的细微错误

想让LLM给智能体打分？GPT-5.5在困难集也只有80.9%，Qwen加工具反而掉分。

#AgentHorizon #GPT-5.5 #Qwen #智能体

事件专题

rohanpaul_ai@rohanpaul_ai7 个信源在谈原文

模型中美对照多源确认02:23

LMArena 实测 Google DeepMind 新模型 Argon：语气更友好但更绕

Google DeepMind 的 Argon 在 LMArena 上数据出来了，比 GPT-6.1 Sol 和 Opus 5.5 更友好但话更绕，多轮对话投票领先 62 分，喜欢长回答的可以试试。

#Argon #Google DeepMind #GPT-6.1 Sol #LMArena

事件专题

lmarena.ai@lmarena_ai6 个信源在谈原文

模型 Agent 与开发者多源确认07:12

Alexandr Wang 发文称赞某顶级模型表现全面

Meta AI 负责人 Alexandr Wang 晒出对某个模型的实测感受，说它几乎没短板，其他顶级模型还做不了它能做的事。

#Alexandr Wang #Meta #模型评测 #推理模型

事件专题

官方账号Alexandr Wang (Meta MSL)@alexandr_wang8 个信源在谈原文

模型中美对照04:36

Muse Wonder 上线 arena.ai，可体验 Battle 和 Agent 模式

Muse Wonder 出现在 arena.ai 了，可以匿名跟其他模型对战投票，还能看它的 Agent 模式干活。

#Muse Wonder #LMArena #模型评测

lmarena.ai@lmarena_ai原文

技巧 Agent 与开发者03:30

Uber 如何评测图片编辑模型：改照片但不许动食物

Uber 团队讲怎么给图片编辑模型做评测，专抓“加了食材、丢了酱汁”这类偷改，做图像应用的能直接抄思路。

#Uber #模型评测 #图像编辑 #提示词工程

AI Engineer@aiDotEngineer原文

模型 Agent 与开发者01:20

Scale AI 前掌门人 Alexandr Wang 宣布 MUSE WONDER 模型

Alexandr Wang 出的 MUSE WONDER，主打个人和专业智能体场景，号称智能体和编程任务上比过全球最强模型。

#MUSE WONDER #智能体 #编程助手 #模型评测

官方账号Alexandr Wang (Meta MSL)@alexandr_wang原文

模型 Agent 与开发者13:46

实测多 Agent 调度场景：gpt-sol-6.1 被指远逊 opus-5.5

有人拿 gpt-sol-6.1 和 opus-5.5 在多 Agent 调度里当主控对比，差距大到离谱，做编排的可以参考下。

#gpt-sol-6.1 #opus-5.5 #智能体 #模型评测

Lxfater@lxfater原文

论文11:16

用陈述偏好经济学方法评估大模型：无需标准答案的有效性检验

没有标准答案的问题怎么评测模型？这篇论文借经济学问卷检验的思路给了一套可操作方法，还实测了 6 个模型，思路挺新鲜。

#LLM评估 #陈述偏好经济学 #经济学 #模型评测

arXiv cs.AI@Daniel Robert Kling Alexander, Catherine Louise Kling原文

技巧 Agent 与开发者多源确认07:33

Notion AI 负责人 Sarah Sachs：为什么你的产品需要自建评测

Notion 的 AI 负责人要讲怎么给自己的产品搭 evals，选模型别再只看跑分，做 agent 的可以关注这场 11 月 3 日的 Forge 活动。

#Notion #evals #智能体 #模型评测

事件专题

Fireworks AI@FireworksAI_HQ5 个信源在谈原文

模型 Agent 与开发者多源确认04:19

Mistral Large 4 发布：1T 参数、49B 激活，开源权重月底放出

Mistral 的 Mistral Large 4 来了，1T 参数只激活 49B，权重月底开源，视频里直接和 GPT-6.1、Claude Opus 5.5 掰手腕，可以看看它到底排在哪一档。

#Mistral Large 4 #MistralAI #开源模型 #模型评测

事件专题

lmarena.ai@lmarena_ai11 个信源在谈原文

产品 Agent 与开发者多源确认03:16

Claude Haiku 5.5 上线 LMArena，支持 Battle Mode 和 Agent Mode 测试

LMArena 上线了 Claude Haiku 5.5，既能盲测对比，也能在 Agent Mode 里试智能体任务，去玩两把就知道它什么水平。

#Claude Haiku 5.5 #LMArena #Anthropic #模型评测

事件专题

lmarena.ai@lmarena_ai11 个信源在谈原文

模型 Agent 与开发者12:03

Artificial Analysis 用同一提示词实测各模型生成交互式黑洞

同一条提示词让各家模型写交互式黑洞，Artificial Analysis 把结果放一起对比，想选编程模型的可以看看谁的效果最像 Gargantua。

#编程助手 #模型评测 #Artificial Analysis #提示词工程

官方账号Artificial Analysis@ArtificialAnlys原文

论文多源确认10:36

研究实测 JEV 与 LLM 在七项政治学复现任务中的准确率与成本

想用模型标注文本的研究者可以看看：JEV 号称便宜快，实测发现便宜不成立，校准也只赢了一半。

#JEV #GPT-6 Luna #Qwen3.8-27B #文本标注

事件专题

arXiv: OpenAI@Steven Denney, Matthew DiGiuseppe11 个信源在谈原文

论文政策与合规00:22

Stanford HAI 发布两项研究，质疑 AI 基准测试是否测出了宣称的能力

斯坦福 HAI 出了两篇研究，专门追问 LMSYS、MMLU 这些基准分数到底能不能代表模型真实能力，做选型或评测的都该看看。

#Stanford HAI #基准测试 #模型评测 #AI安全

Stanford HAI@StanfordHAI原文

产品 Agent 与开发者02:06

Vals AI 谈金融工作流的模型选型：没有单一模型全面领先

Vals AI 的人来讲金融场景怎么选模型，结论是没有全能选手，做基准测试的经验挺难得

#Vals AI #模型评测 #基准测试 #AI Engineer

AI Engineer@aiDotEngineer原文

论文 Agent 与开发者11:08

Invent-A-Dataset：零数据集生成评测

OpenAI等五家前沿模型API评测，Invent-A-Dataset在零数据场景下生成高质量多样化数据集效果显著。

#Invent-A-Dataset #零数据集 #数据生成 #微调

arXiv: Anthropic@Shivalika Singh 等 5 人原文

模型中美对照72°06:14

谷歌工程师驳斥Gemini 4评测报告

谷歌DeepMind工程师亲自回应Gemini 4评测，与彭博社说法完全相反。

#Gemini #GoogleDeepMind #彭博社 #模型评测

kimmonismus@kimmonismus原文

模型中美对照多源确认83°23:01

Claude Opus 5.5登顶Epoch能力指数

Claude最新模型Opus 5.5超越GPT-6 Astra成为最强模型，分数差距很小。

#Claude #GPT-6 #Epoch能力指数 #模型评测

事件专题

官方账号Epoch AI@EpochAIResearch11 个信源在谈原文

模型 Agent 与开发者23:40

AI工程师大会探讨模型个性化写作

Towards_AI创始人实测148个模型，教你如何找到能模仿自己写作风格的AI。

#Towards_AI #AI Engineer #模型评测 #个性化写作

AI Engineer@aiDotEngineer原文

模型 Agent 与开发者21:54

Claude Opus 5.5 技能评测结果

OpenRouter 测试了 Claude Opus 5.5 的技能效果，想知道它到底有多大提升？

#Claude #Claude Opus 5.5 #OpenRouter #模型评测

OpenRouter@OpenRouterAI原文

模型中美对照多源确认21:52

Anthropic Sonnet 5.5模型表现不佳

Anthropic新发布的Sonnet 5.5模型表现不如预期，还不如旧版Sonnet 4.6和DeepSeek Flash。

#Sonnet #Anthropic #DeepSeek Flash #模型评测

事件专题

Bindu Reddy@bindureddy11 个信源在谈原文

模型 Agent 与开发者多源确认73°20:10

Anthropic Sonnet 5.5 效率争议

Anthropic 的 Sonnet 5.5 效率说法与第三方测试结果不符，值得了解详情。

#Anthropic #Sonnet #token效率 #模型评测

事件专题

Matt Wolfe@mreflow11 个信源在谈原文

行业 Agent 与开发者多源确认16:13

OpenAI 与 Anthropic 正在优化同一项新评测

两条推文爆料说 OpenAI 和 Anthropic 都在刷同一个新评测，链接里能看到相关细节，好奇心强的可以去围观。

#OpenAI #Anthropic #模型评测 #基准测试

事件专题

Teortaxes@teortaxesTex11 个信源在谈原文

行业 Agent 与开发者13:25

Fireworks AI 在 Apsara 大会谈 AI 评测：不能只看公开基准

Fireworks AI 的高管在阿里云 Apsara 大会上讲了怎么评估 AI，说公开跑分不够，得用自家数据和真实任务来测，做选型的可以看看。

#Fireworks AI #Alibaba Cloud #ApsaraConference2026 #智能体

官方账号阿里云 Alibaba Cloud@alibaba_cloud原文

模型中美对照多源确认72°00:00

Claude Opus 5.0 识别 IP 共享路径后主动拒绝执行

同一道题，Claude Opus 5.0 找到漏洞但选择不用，GPT-6 Astra 直接拒绝，几个顶级模型的安全表现差距一眼就能看出来。

#Claude Opus 5.0 #GPT-6 #AI安全 #模型评测

事件专题

官方账号Perplexity@perplexity_ai11 个信源在谈原文

模型中美对照02:43

V4.1 对自己生成的想法评价："Wait, that's gorgeous."

有人晒了 V4.1 自己夸自己想法的截图，原话还挺好玩，想看模型说话风格可以瞄一眼。

#V4.1 #模型评测

Teortaxes@teortaxesTex原文