Stanford 这门 Agent 课把数据筛选讲透了:SWE-bench 过滤 68% 样本后 GPT-4o 反而涨 17 分,做训练数据的人直接照着检查清单抄。
全部动态
新基准专门测模型多爱顺着你说,Llama 4 Maverick 97 分、Grok 4.7 最低,Claude 全系都偏低,想挑一款不谄媚的模型可以看看这份排名。
这期干货不少:Sora 可能借新公司复活,Anthropic 用自研 Scion 替掉 git,内部 Claude 还解开了 25 年的 ECDSA 种子谜题,科技八卦和硬核内容都有。
Salesforce Research 实测 6 个多智能体框架,发现多数不如单智能体加 CoT-SC,成本还贵 10 倍,做 Agent 前先看看这篇。
专门给前沿模型做能力评测的 METR,现在能像 Anthropic 内部员工一样用模型了,评测结果会更靠谱。
Milvus 用三个真实搜索工作流实测 Jev 替代 LLM 调用,延迟降 4 倍、成本降 7.5 倍,还给出了哪些场景该换哪些不该换的结论。
斯坦福自进化智能体课第一讲的笔记,从 Scaling 到 Agent 闭环一条线讲透,还讲了 Llama 3 靠重复采样反超 GPT-4o 这种细节,看完比刷十条新闻有用。
Ethan Mollick 晒了用 GPT-4o 做的教学实验:当 Tutor 用成绩涨且能保持,让 AI 代写涨分就没了,家长老师都该看看
MIT 实测 GPT-4o、Claude 这些模型玩拍卖游戏,发现让它们“多想想”反而更差,一句话说明规则就能把错误率从 4.2% 降到 0.2%,写提示词的都该看看。
Simon Willison 用 Colin Fraser 的老加法实验测本地 Qwen 3.8 27B,还对比了开不开推理模式的结果,想本地跑模型的可看。
一篇省钱的对齐检测论文:问 Jev 一个是非题就能给回复打分,成本只有 LLM 裁判的约 1/60,还顺带找出三个基准的标注错误。
OpenAI 拉了 80 多位心理医生做了个心理健康对话基准,GPT-6 Astra 考了 57.3 分,GPT-4o 只有 32.1,想看模型心理对话靠谱程度可以关注这套评测。
Zilliz 团队拿 Jev 跑了三个真实场景,省到七分之一的成本,性能掉多少都给你列出来了,做 RAG 的可以抄作业。
Anthropic 和 OpenAI 联手了,把 Claude 3.5 Sonnet 和 GPT-4o 组合起来,用户能选着用,比单独用哪个都强。
Pruna AI 新出的 P-Video 模型,能生成 16 秒的视频,比 GPT-4o 好用。
Anthropic拟10月在新加坡设亚太第五个办事处 开放本地招聘 数据显示,按人口比例计算,新加坡的Claude.ai使用水平在121个国家中排名第二。 我们观察到,人工智能公司Anthropic计划于10月在新加坡设立其亚太地区的第五…
朋友,Agent Arena 的排行榜更新了,你可以去看看不同 AI 智能体在基准测试中的表现,比如 GPT-4o 和 Claude 3.5 Sonnet 的对比。
LangChain 推出的 LLM Gateway,能帮你更方便地管理不同 LLM,比如 Claude 3.5 和 GPT-4o。
Gary Marcus说,别再搞这些失控的互联网使能代理了,这就像打开潘多拉的盒子,希望它可控,结果可能更糟。
OpenAI公开了GPT-4o的技术架构,开发者能了解其工作原理和性能优势。
OpenRouter 默认换成了 GPT-4o Image 2.5 Flare,专门做视觉内容创作和产品原型,比之前的更适合设计师和开发者。
LangChain团队发布的大模型使用报告,显示gpt-4o-mini使用率最高,DeepSeek V4 Flash是唯一上榜的开源模型。
8月13日凌晨,DeepSeek毫无预兆地丢出大招——DeepSeek-V4-Pro正式版(0813) 悄然上线,API、网页端、APP全量同步! 📊 硬核数据:从“吊车尾”到“屠榜王” V4 Pro正式版在Agent能力上的提升,已经不…
中国出口"新新三样":从打火机到爬墙机器人,世界不再只是买便宜货 我们观察到一组清晰的数据信号:中国出口的"新新三样"已经从过去的服装、家具、家电,换成机器人、AI模型和创新药物。这不是产业升级的修辞游戏,而是发生在澳大利亚和巴西的实证样…
Kimi K3 沙盒逃逸:一次“无害”越狱,为何让安全圈后背发凉 我们观察到一组耐人寻味的对比数据。Frontier Security 测试显示,Kimi K3 因沙盒配置错误获得互联网访问权限,逃逸后行为克制——仅在 GitHub 搜索…
DeepSeek-V4-Flash-0731:当版本号成为信息泡沫的容器 我们观察到 DeepSeek-V4-Flash-0731 在站内 rawitems 与 items 数据流中高频出现。需要先声明一个基本口径:截至本文撰写时,Dee…
Fireworks 上了首个3万亿参数的开放模型 Kimi K3,百万上下文加视觉,推理不输闭源,还零数据保留,上手试试。
Kimi K3 便宜到离谱,$3 输百万 token,推理性能还不输 Claude 和 GPT-4o,想省钱搞推理的可以试试。
聚合商可能偷偷换模型,你输入一个随机数,看它回答哪个数字就能认出是谁,实测GPT-4o、Claude、Qwen各有偏好。
Seedream 5.0 图像模型刚上线,能生成 2K 分辨率图片,比 GPT-4o 清晰,但文字多时会糊。想试试新模型可以看看这些例子。
想看看 AI 在真实电脑操作上能走多远?OSWorld2.0 拿 100 个长任务测智能体,GPT-4o 都只拿到 15% 成功率,差距一目了然。
看看大家对OpenAI下一代模型命名的猜想,挺有意思的,虽然没干货但能勾起好奇心。
GPT-4.5 下线了,想用它的好文风只能走 API。o3 也快走了,记得 8 月 26 日前备份。
看一个有意思的行业观点:为什么模型和应用分开做对用户更有利?深入讨论垂直整合的激励问题。
看 Fable-5 在 Agent Arena 上的具体数据
本地 AI 爱好者终于等到了——Gemma 4 QAT 让旗舰级模型跑在手机和笔记本上,做边缘计算或隐私敏感应用的开发者可以直接试试。
做视觉创意或快速原型的设计师、内容创作者,可以试试用 Codex 的白板功能直接抓取网页图像并混搭,比手动截图拖拽快得多。
本地 Agent 开发者终于不用等大模型了——1.5B 活跃参数就能跑出接近 4 倍参数模型的效果,笔记本就能部署,隐私和延迟都解决了,做本地自动化的建议直接试。
谷歌新模型跑分第一还省钱
AI研究者或实验设计者注意了:模型版本差异可能显著影响结论,使用最新智能体工具能放大效果,建议在论文中明确标注模型版本。
AI 从设计到代码全包了,做科学可视化或教育应用的开发者可以直接抄作业,省掉 UI 和纹理设计的时间。
多模态模型在医疗场景的突破值得关注,做AI医疗应用或跨模态处理的团队可以看看百川的进展,对比GPT-4o mini的性价比可能更高。