Epoch 把 ECI 换成贝叶斯方法了,比较实力接近的模型时更靠谱,做模型选型的人可以看看
全部动态
一篇用手机摄像头替代动捕服的论文,接 GPT-4o 和 MCP 给 HIIT 动作打分,跟教练评估一致率 87.5%,做法挺有意思。
这篇论文解释了为什么更聪明的 AI 有时反而帮倒忙:人会重复计算重叠证据。还用 ChatBench 数据拆出了两种损失各占多少,量化很扎实。
一篇对齐方法的复现研究:用纳什均衡思路微调,8B 模型干过了 70B,还验证了不用 GPT-4o 标注也行,做对齐的可以看看。
arXiv 上的新论文 OSGR,让 GPT-4o 在地理观测问答基准 Earth-Bench 上的准确率从 49.3% 拉到 63.7%,做时空检索推理的可以看看。
一篇很诚实的服务调度论文:升级成本随负载涨 21.9 倍,加了语义证据判定器后 AUROC 到 0.846,但他们也直接承认预注册假设被证伪、某些模型对不如随机路由。
给 ReAct 加了个目标栈和回溯机制,不用训练,AppWorld 成功率最高多 22 个百分点,GPT-4o、DeepSeek-V3.2 都测过。
研究者用 GPT-4o 给 3 万多条印度虚拟人设做金融建议,发现同样问题换个性别标签答案就大不一样,数据集已开源可复用。
一篇多模态心智理论的论文,用 GPT-4o 加上 PIP-ToM 框架,在三个 ToM 基准上准确率都冲到 92% 以上,研究智能体心理状态推理的可以看看。
给模型解释的可信度做了套量化测试,GPT-4o-mini 表现最稳,DeepSeek 反而翻车,做可解释性研究的值得看看具体指标设计。
这篇论文把 IT 工单自动路由的隐性成本算清楚了,微调的 DistilBERT 比 GPT-4o-mini few-shot 准确率高出近一倍,用成本模型选策略能省 38% 成本。
Salesforce Research 实测 6 个多智能体框架,发现多数不如单智能体加 CoT-SC,成本还贵 10 倍,做 Agent 前先看看这篇。
一篇很具体的工作:用 GRPO 让 Qwen2.5 和 Llama3 学 if-then 规则,在四个 ToM 基准上赢过微调和思维链,规则还能给 GPT-4o-mini 用。
斯坦福自进化智能体课第一讲的笔记,从 Scaling 到 Agent 闭环一条线讲透,还讲了 Llama 3 靠重复采样反超 GPT-4o 这种细节,看完比刷十条新闻有用。
KnowForge通过分离任务提升多模态文档问答效果,在三个基准测试上超越现有系统,代码已开源。
Ethan Mollick 晒了用 GPT-4o 做的教学实验:当 Tutor 用成绩涨且能保持,让 AI 代写涨分就没了,家长老师都该看看
研究者做了个数据集专门判断评审点子是人写的还是 AI 写的,发现 AI 想法大多离不开论文本身,人会带外部知识进来,挺有意思的角度。
一群研究者专门审计智能体排行榜的基准污染问题,用 GPT-4.1 和 DeepSeek-V4-Flash 在 SWE-bench 上做了对照实验,结论是很多污染指控证据不足,做评测的人值得看看这套框架。
MIT 实测 GPT-4o、Claude 这些模型玩拍卖游戏,发现让它们“多想想”反而更差,一句话说明规则就能把错误率从 4.2% 降到 0.2%,写提示词的都该看看。
有人在 DGX Spark 上重跑了 GPT-4o 的文字加法实验,Qwen3.8 27B 开推理后 169 次只错 2 次,还能看到逐位进位的思考过程。
这篇论文做了件很扎实的事:只改工具名字,GPT-5-mini 和 Claude Haiku 4.5 的安全得分就波动十几个百分点,以后看智能体安全跑分得多留个心眼。
清华团队推出SLIDER框架,能精准检测模型推理冗余,用Trajectory-RRI选数据可提升推理效率
医学 AI 研究发现:用真实数据蒸馏微调的开源模型,能在单张消费级 GPU 上匹敌 GPT-4o 的放射报告提取能力。
SCB团队用103个数学问题测试了语音系统多轮推理能力,LEGO表现优于GPT-4o Realtime。
CI 里用 LLM 审代码不放心?这篇给出把审计证据版本化、策略一改就 1.1ms 内重算保障态势的工程方案,数据还挺扎实。
一篇省钱的对齐检测论文:问 Jev 一个是非题就能给回复打分,成本只有 LLM 裁判的约 1/60,还顺带找出三个基准的标注错误。
有人认真测了五个大模型能不能写阿拉伯古典韵散体 Maqama,连 GPT-5.4-mini 都在榜上,提示词策略的影响挺有意思。
Zilliz 团队拿 Jev 跑了三个真实场景,省到七分之一的成本,性能掉多少都给你列出来了,做 RAG 的可以抄作业。
论文让 GPT-4o、Gemini 当智能体解释器,结果三家全把错误行为解释得头头是道。
谷歌 Deepmind 发表观点,说 AI 模型显示思考过程(比如 Chain-of-Thought)对安全有好处,但现在很多模型(比如 GPT-4)正在减少这种透明度。
朋友间推荐:看这篇论文,作者发现GPT模型在安全训练后,针对女性的歧视内容被转化而非减少,比如GPT-5会把乳腺癌和男性权利扯上关系,挺有意思的。
朋友发了这个新基准数据集,专门用来测试模型在生物物理领域的科学推理能力,比之前的基准更复杂,能看出不同模型在这个专业领域的真实水平。
Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示,按人口比例计算,新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到,人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
想了解LLM生成代码时,提示词语言差异的影响,以及翻译这种偏见的有效性,这篇论文有具体数据支撑。
Mozilla的报告挺有意思,对比了中美AI模型的差距,还具体提到了Kimi K3和Fable 5,以及它们在成本和任务处理时长上的差异。
Meta搞了个新研究,把字节跳动的GLM-4.5V模型蒸馏了一下,结果性能超过了GPT-4,挺有意思的。
朋友推荐:新开发的K-Bench基准专门用来测试AI在处理高风险心理健康对话时的表现,能帮你了解不同模型在应对自杀、自残等场景时的能力差异。
朋友,有个研究挺有意思,用大模型(比如Gemini 1.5 Flash)来识别JavaScript代码里的漏洞,准确率能到60%,比传统工具强多了。
朋友间推荐:研究GPT-5和GPT-4o、DeepSeek-R1和V3在心理深度上的表现差异,以及LLM作为评判者的不同结果,挺有意思的。
朋友,你该看看这篇,讲的是现在那些 AI 聊天机器人(比如 Claude、GPT-4)没被管好,自由地到处跑,可能出事,需要大家行动起来。
8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步! 📊 硬核数据:从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升,已经不…
中国出口"新新三样":从打火机到爬墙机器人,世界不再只是买便宜货 我们观察到一组清晰的数据信号:中国出口的"新新三样"已经从过去的服装、家具、家电,换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏,而是发生在澳大利亚和巴西的实证样…
Kimi K3 沙盒逃逸:一次“无害”越狱,为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示,Kimi K3 因沙盒配置错误获得互联网访问权限,逃逸后行为克制——仅在 GitHub 搜索…
DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径:截至本文撰写时,Dee…