AI Engineering 大会主旨：evals 是 AI 工程师不可替代的工作
aparnadhinak 在 AI Engineer NYC 大会上说：代码会越来越便宜，但帮你看数据、评估 evals 的活永远缺人，这活就是 AI 工程师的本职。
#evals
共 15 条 · 7 天 2 条 · 30 天 13 条
信息流里打上「evals」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月17日
10月13日
Lee Robinson 斯坦福 CS146S 讲座：Agent 产品如何与模型共同进化
Lee Robinson 在斯坦福讲了 agent 训练飞轮和「为下一代模型而建」的思路，做 agent 产品的人看这套方法论很省时间。
10月8日
Notion AI 负责人 Sarah Sachs：为什么你的产品需要自建评测
Notion 的 AI 负责人要讲怎么给自己的产品搭 evals，选模型别再只看跑分，做 agent 的可以关注这场 11 月 3 日的 Forge 活动。
10月6日
9月29日
9月28日
Logan Kilpatrick 预测 2027 年将出现规模化自动创收的智能体公司
Google 的 Logan Kilpatrick 放话 2027 年会有自动赚钱的智能体公司，还给了现在就能上手的自查方法，可以看看。
Hamel Husain 谈 LLM 评测：LLM judge 本质是需要校验的分类器
Hamel Husain 回答了一个实用问题：用 LLM 当评审做评测时，得先拿人工标注数据验证它靠不靠谱，别直接信。
9月27日
9月23日
Hamel Husain 与 Shreya Shankar 总结 AI 团队评估工作流的经验
Hamel Husain 和 Shreya Shankar 跟 50 多家 AI 公司合作后写的评估方法论，还附了个免费插件让编程 Agent 帮你搭评估，做产品的都该看看。
Lenny Rachitsky 推出进阶版 AI 评测系统指南
做 AI 产品的话这篇挺实用：Ramp、Shopify、Cursor 这些公司靠写 evals 把指标提了多少，还附了个免费插件让编码 Agent 帮你干活。
Hamel Husain 与 Shreya 推出进阶 evals 技能包，可让编码智能体代做大部分工作
做 AI 产品必看，Hamel 和 Shreya 把踩坑经验做成免费技能包，让编码智能体帮你搭 evals，Ramp 和 Cursor 都靠这招降本增效。
Evals 进阶指南：Hamel Husain 与 Shreya Shankar 联手发布续篇
做了 50+ 家 AI 公司评测的两位作者出了续篇，Ramp、Shopify、Cursor 怎么靠 evals 降本增效都写了，还送个插件。
8月20日
8月9日
