LangChain 拆解了 LangSmith 新的 AI Search 内部机制:先把 trace 变成可读轨迹,再让模型逐条比对并流式返回,做 agent 调试的可以看看。
#LangSmith
LangChain 介绍了客户情报创业公司 Opine,他们把每条生产 LLM 调用都接入 LangSmith 追踪,改 prompt 或换模型必须先过评测,做 LLM 运维的可以参考这套做法。
这是 Vanta 工程师讲他们怎么用 LangSmith 做 LLM 质量评估的实测分享,想搭 evaluation 工作流的话可以看看别人的做法。
做 Agent 的都该看看,LangChain 把评估从哪入手、怎么省钱、LLM 裁判怎么用全说透了,成本那组数字很实在。
用 Claude 做智能体的朋友注意,现在 Claude 的调用链路能直接导到 LangSmith 里逐步排查,公开 beta 已可上手。
LangChain 给 LangSmith 加了 AI Search,直接用一句话描述就能搜出对应的 Agent 运行记录,不用再配 evaluator 或翻几小时日志。
LangChain 给 LangSmith 加了 AI Search,直接用一句中文/英文描述就能搜出 Agent 失败的那条 trace,排查对话不用再人肉翻记录了。
mondaydotcom 的工程师讲怎么用 LangSmith 搭评测管线,线上监控加线下回归都有,做 LLM 应用的可以抄作业。
LangChain 搞了个 agent 竞技场,NVIDIA 赞助,训练 agent 参赛能拿 LangSmith Engine,喜欢折腾 agent 的可以试试。
在 Interrupt 现场的话可以去玩玩,用俄罗斯方块训练智能体,还能用 LangSmith 选模型看它上排行榜比赛。
LangChain 现在能直接用 ScaleDown 的 CDM 了,专干摘要、抽取、分类这种高频小活,又便宜又快,还能用 LangSmith 看调用轨迹。
三场实战演讲打包看:OVO Energy 怎么做安全客服智能体,还有 LangSmith Engine 内部构建思路,做智能体的能抄作业。
ScaleDown 发了三个不逐 token 生成的决策模型,分类、抽取、摘要各管一个,速度和价格都比通用 LLM API 好一大截,做 agent 的话可以试试接进 LangChain。
LangChain 的 LLM Gateway 接入了 OpenAI Decisions API,模型回退、数据脱敏和花费限额都能在一个地方管,跑 Agent 的可以看看。
LangChain 更新了 LangSmith Engine v2,能给你的 Agent 做红队测试,还会自动验证修复有没有效果,做 Agent 的话可以看看。
Rippling 用 Deep Agents 搭了个多智能体系统,1个主管带5-7个子agent,监控全靠 LangSmith,做agent工程的可参考。
Zip 团队把自己的智能体迁到 LangGraph 加 LangSmith,以前加个功能要几周,现在链路追踪自动就有了,做 agent 的可以参考。
Zip 把手搓的 LLM 调用和存储代码换成了 LangGraph,零代码接入 LangSmith 就能看全量 trace,做 agent 可观测性的可以参考。
LangChain 把自家编码 Agent 的账单连续两个月打下来了,三个做法都能直接抄:LangSmith 记账、gateway 设上限、OpenSWE 做模型路由。
LangChain 给 LangSmith 升级了 v2,能在智能体上线前用红队测试提前排雷,还帮你验证修复方案,写 agent 的可以看看。
LangChain 一口气发了五个更新,Deep Agents 到 v0.8,还能拿智能体轨迹数据做微调,做 Agent 开发的可以看看。
LangChain 9 月底连办三场 AMA,手把手教 LangSmith 评估 Agent 和部署 Deep Agents,做 Agent 开发的可以直接去提问。
LangChain 把 LangSmith 里的真实运行轨迹直接变成微调数据,用 Baseten 和 Fireworks AI 训开源模型,做智能体的朋友可以抄这套流程。
LangChain 给 LangSmith 加了新功能,写句提示词就能把 agent 的追踪数据变成自定义界面,现在已经正式可用了。
LangChain 出了个 smithtune CLI,直接拿 LangSmith traces 微调模型,托管在 Fireworks 上,一个命令搞定不用自己搭训练环境。
LangChain 把 LangSmith 的运行数据开放成自定义界面了,写句提示词就能生成标注队列或 trace 审查页,做 Agent 评估的可以试试。