Langfuse

product · 首次出现 2026-05-24 · 最近出现 2026-10-19 · 累计提及 13

综述

Langfuse 是一个开源的 LLM 可观测性与评估平台,核心功能包括调用链追踪(Tracing)、提示词管理、评分体系和实验对比,通常被接入到大模型或智能体应用中用于监控线上表现、组织离线测试。它与 LangSmith、Braintrust、Arize 等同处一个赛道,开源与可自部署是其主要差异化标签。

Langfuse 近期进展

  • 2026年LLM可观测性与评估平台对比:Langfuse、LangSmith、Braintrust、Arize等:行业媒体对主流可观测性与评估平台做了横向对比,Langfuse 被列为开源路线的代表选项之一。
  • 构建完整 Langfuse 可观测性与评估管道:追踪、提示管理、评分与实验:一篇实践教程演示了如何用 Langfuse 搭建从追踪、提示词版本管理到打分与 A/B 实验的完整流程,反映其在工程实践中的使用路径已较为成熟。
  • Langfuse 教程:用评估门禁拦截数值准确率不达标的模型上线:AI Engineer 分享了基于评估门禁的上线拦截方法,即在 CI/CD 中设置准确率阈值,未达标的模型或提示词版本无法发布。
  • langfuse 分享智能体上线前的测试与评估门禁方法:配套内容聚焦智能体场景的上线前评估,说明 Langfuse 正把重心从单纯的监控向「测试-发布」流程控制延伸。
  • AI Engineer NY 2026 最后一日日程公布:Ramp、NVIDIA、langfuse 陆续登台:Langfuse 团队登上 AI Engineer 纽约大会,与 Ramp、NVIDIA 等公司同场,参与关于智能体可靠性的讨论。
  • 当前焦点与观察点

    Langfuse 生态当前的主要话题,是从「记录发生了什么」转向「决定什么能上线」。追踪和日志只是起点,行业讨论的重点已经移到评估门禁:把自动化评分、数据集回放和人工标注结果做成发布前的硬性关卡。这一趋势在智能体场景尤其明显——Agent 的多步轨迹让传统单次调用的评估方式失效,学术侧也出现了 Annotrace 这类面向轨迹的步骤级标注工作台研究,与平台侧的评估功能形成呼应。

    值得关注的观察点有三个:一是评估结果能否在工程团队中形成一致口径,避免「自评自过」;二是开源方案与企业级托管需求之间的权衡,Langfuse 的自部署属性在数据敏感场景中持续被讨论;三是各大平台的对比评测频繁出现,说明该赛道竞争仍在加剧,选型尚未收敛。

    相关报道

    9 条在档