PostHog 工程师谈从传统产品工程转向 AI 产品工程
PostHog 的 Dylan Martin 讲了他从功能开关团队转到 AI 产品工程的过程,重点讲怎么写 eval 和怎么划分人该看什么、Agent 该做什么。想转岗或正在做 Agent 产品的人可以看,尤其那个查询工具数错注册用户的评测例子很实用。
PostHog 功能开关团队负责人 Dylan Martin 发文分享自己从传统产品工程转入 AI 产品工程的体会。他认为岗位跨度没有想象中大:软件工程本身变化很快,任何角色仍要懂系统、懂失效方式、会证明结果正确。
真正的增量技能是写评测。评测思路接近软件测试,但要面对大模型输出不稳定——同一个请求可能存在多种好答案,有时最佳回应是反问用户。他举例:给分析 Agent 的查询工具测「昨天有多少用户注册」能返回数字,但改成按国家查询时,评测发现工具在数注册事件而非独立用户,这类回归必须上线前抓住。
他认为更棘手的问题是人机界面怎么分工:目标明确的任务交给 MCP 和 Skills 让 Agent 完成,需要人决策的场景(如功能开关影响范围、错误影响哪些用户)则要有可视化界面。他建议想转型的人边做产品边学写评测。
传统产品工程 -> AI 产品工程 从功能开关负责人转到 AI 产品工程,要学会写评测,最难的是人和 Agent 的界面怎么分 @posthog 团队 @dmarticus 写了他从带功能开关团队、做传统产品工程,转到 AI 产品工程的体会。一位校友在学 AI,考虑类似转型,来问他感觉如何。他认为,跨度没有岗位描述看起来那么大。软件工程本身变化已经很快,即便继续做功能开关的系统和平台,也躲不开这些变化。任何工程角色要做好,仍然得懂系统、懂失效方式,以及怎样证明结果是对的。 dylanamartin.com/2026/11/19/mov… 已经在用 Agent,想去做还没定型的界面 在功能开关团队时,Agent 已经进了他的日常开发。他知道怎样用它们提高效率,也清楚它们会在哪些地方失败,以及为什么要核验产出。他以前写过这些失效方式,作为使用者大多能自己避开;作为产品工程师,他开始想怎样做出产品,让别人也能得到同样的效率,又少掉进那些坑。 他在公司里已经转过一次方向:从偏后端基础设施,转到更靠近用户的功能开关产品(界面和 SDK),还重做过开关界面。那段工作磨了产品感觉,但大多是在用行业已经熟悉的模式。做了几个月后,他想花更多时间在「好」长什么样还没被想清楚的界面上。他还是想靠近用户,并好奇把软件做在模型之上,会怎样改变现有工作流。 要补评测,也要决定人看什么、Agent 做什么 他说,AI 产品工程里有些技能在传统产品工程里不太会碰到,很大一块是写评测。思路接近软件测试,但要对付大模型输出不稳定:同样要把「怎样算对」变成可测的东西,评测却得更有弹性。同一个请求可以有好几种好答案,有时最好的回应是反过来问用户一个问题。他举的例子是:给分析 Agent 的新查询工具测「昨天有多少用户注册」,它能给出一个数;可一旦改成按国家问同一个数,评测可能发现工具在数注册事件,而不是独立用户。这就是他希望上线前抓住的回归。考虑转行的人,他建议一边做产品一边学写评测,并指向同事 Alex Lebedev 写的如何给 AI Agent 做基准测试。 posthog.com/blog/how-to-be… 对他来说更棘手的,是在做人用的界面,和把同样能力交给 MCP 和 Skills 之间找平衡。如果已经知道要完成什么,他认为用 MCP 和 Skills 交给 Agent,通常比在界面里一步步点要痛快;这也会把压力转到工具设计上:Agent 得知道该用哪一个,而且重试一次调用时,不该把同一处改动做两遍。可当需要人来决定 Agent 到底该跑哪一种流程时,他更希望有界面。 比如让 Agent 去放一面功能开关,他想看到影响范围和潜在变化的图;让人去修一个错误,他希望一眼看到哪些用户受影响。 这些也可以写成文字,而且大概还是需要文字,但有意识地做可视化预览,能帮人更快看出埋在字里的问题。 他还提到,人在学会阅读之前就靠眼睛理解世界,所以既要让 Agent 尽量把事做利落,也要把结果用人最容易看懂的方式交回来。Agent 该做多少、人该看多少、在哪里做决定,他说大家都还在摸索。他现在的团队就在做这类问题。 Richard Seroter @rseroter Moving from "traditional" product engineering to AI product engineering wasn't the leap @dmarticus expected, but he still had to learn new things: writing evals, balancing human vs agent interfaces and more. dylanamartin.com/2026/11/19/mov… 🔗 View Quoted Tweet📊 6 ⚡
本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:PostHog、MCP、评测、AI产品工程,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「shao__meng」(@shao__meng),经 AITOP 多维评分管线结构化提炼。