这是 Vanta 工程师讲他们怎么用 LangSmith 做 LLM 质量评估的实测分享,想搭 evaluation 工作流的话可以看看别人的做法。
全部动态
OpenRouter 开测专用部署,GLM、Kimi、DeepSeek 都能独享跑,还可以预留 OpenAI 和 Anthropic 容量,重度使用团队可以看看。
Vercel 给 AI SDK 加了 MCP Events,智能体能订阅 MCP 服务器的事件推送,存储和续订都不用自己写了。
Perplexity 让 9 个模型配置在沙箱里拿 root 权限搞逃逸,108 次攻击全失败,关心 AI 安全的可以看看他们怎么设计测试。
Self Labs 出了个 Agent Vault,让 Claude Code 这些智能体结账时拿不到你的真卡号,被注入攻击最多花掉你设的额度。
Perplexity 把智能体运行平台的第一块组件 SPACE 开源了,主打安全这块,做 agent 产品开发的话可以看看他们博客里的设计思路。
Hugging Face 的 julien_c 贴出了 Xet 每日下载量图表,还按结果做了细分,想了解 HF 下载底层表现可以点进去看看图。
OpenRouter 出了个 Private Endpoints,企业能把微调模型和专属算力挂上去直接调用,别的组织看不见,容量不够还会自动切共享算力。
Anthropic 拉上 Gray Swan 办 Claude 的 prompt injection 攻防赛,搞安全的可以报名试试能不能攻破 agent。
Meta 又出了个开放权重模型,Together AI 第一时间就能用,专门跑智能体编程,整库代码都能塞进上下文,搞开发的朋友可以试试。
Databricks 新人现在第 2 天就能提交有影响力的 PR,以前要熬 2 周读文档才能打个小补丁,AI 编程工具把入职周期压缩了一个量级。
Meta 把 MoE 和全模态塞进一个开放权重模型,专攻智能体场景,transformers 和 llama.cpp 当天就能跑,想本地部署的可以试试。
NVIDIA 新出的 Nemotron 3.5 Super VL 和 Bolt 现在能在 Hermes Agent 里直接跑,吞吐量还比同类本地模型快最多 5 倍。
Meta 把 816B 的 MoE 开源模型放上了 HuggingFace,42B 激活加 1M 上下文,专门冲着写代码和跑 Agent 来的。
xAI 的 Grok Voice 3.0 在 AudioArena 语音评测拿了第一,85.7% 的通过率压过 GPT Live 1 和 Gemini 的语音模型,想比比各家语音模型效果的可以看看。
NVIDIA 发了个开源视觉模型 Nemotron 3.5 Super VL,120B 参数但只激活 12B,在 Cline 里免费用,还能直接读图和视频。
瑞典搞了个共享 AI 超算 Sferical One,NVIDIA 出算力,瓦伦堡家族站台, Researchers 和企业都能租用
OpenUI 出了 1.0,开源的,接上你自己写的组件就能让 agent 回复变成可点的界面,不再是干巴巴文本,做 agent 应用的可以试试。
前 OpenAI 研究员自己打脸:当年只能解释 2% 的神经元,现在万亿参数模型大部分都能看懂,这是他在 Goodfire 的第一手观察。
Meta 放出了 Muse Spark Open,Groq、OpenRouter 这些平台今天就能直接调用,权重也开放下载,商用条款对不少开发者免费。
Meta 这个模型专门针对本地硬件做了优化,两台 Mac Studio 就能跑,还支持 llama.cpp、vLLM 等一堆引擎,想本地部署的可以看看。
Meta 放了个 816B 的开源模型 Muse Spark Open,激活才 42B,能看视频听音频写代码,搞智能体的可以跑跑看。
美国又出一个开源权重模型,816B 参数、百万 token 上下文,主打写代码和跑智能体长任务,可以关注下权重何时放出。
讲自改进 Agent 怎么防止改坏自己:新改动先在独立任务上跑赢旧版才准上线,还给了 GPT-5.4-nano 在 SpreadsheetBench 拿 77.58% 的例子。
微软 AI 的 Mustafa Suleyman 说他们用少 12 倍的算力就在代码评测上追平了 DeepSeek-V4-Pro-Base,不过细节还没发,先看看数据再说。
LlamaIndex 做了个专挑复杂文档难题的抽取基准,Codex 才拿 58% 还要每页 1 美元,搞 RAG 和文档处理的可以拿来自测。
Notion 的智能体现在能直接读 HubSpot、Stripe、Cloudflare 的数据了,150 多个 MCP 连接,做团队工作流可以试试。
仅展示最近 2000 条内容,更早的内容请查阅 AI 日报存档