Hamel Husain 宣布一场以 AI 优化真实业务的竞赛
搞 AI 的朋友可以看看，这不是比谁的应用炫，而是比谁能用 AI 真正优化一门生意，还有评委阵容和送书活动。
#Hamel Husain
共 15 条 · 7 天 1 条 · 30 天 6 条
信息流里打上「Hamel Husain」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月7日
10月26日
Hamel Husain 质疑公开基准测试质量，建议亲自跑分检验
Hamel Husain 提醒大家别盲信 benchmark，最好亲手跑一遍、看评分器错在哪，还分享了一个专门审查基准数据的网站。
10月25日
Hamel Husain：公司 Agent 工作流中三分之二面向营销场景
Hamel Husain 晒了他们公司 3 个 Agent 里 2 个干营销活儿，比例很真实，做企业 Agent 的可以参考。
10月22日
Hamel Husain 与 Shreya Shankar 新书《Evals for AI Engineers》11月12日发布
做 LLM 评估的朋友注意：Hamel 和 Shreya 的新书 11 月 12 日发布，现场还送签名版，Zoom 也能听。
10月21日
Hamel Husain：公开基准测试中 BenchGate 问题依然普遍存在
评测圈的人都在传：随便翻几个公开 benchmark 的失败 trace，问题多到吓人。做模型评测的都该看看。
10月11日
Ben Hylak 谈用模拟做 AI 智能体评测
Ben Hylak 讲怎么用模拟测智能体，还聊到模型会察觉自己在被模拟然后改行为，做 eval 的可以看看。
10月6日
Hamel Husain：相似度指标不适合评估 LLM 输出
Hamel Husain 说相似度指标评估不了 LLM 回答好不好用，该看具体失败案例，做评估的可以看看
10月4日
Hamel Husain 开设 60 分钟免费课程：如何搞定 AI Evals 面试
在找 AI 岗位的朋友看这里，Hamel Husain 10 月 6 日开免费直播，教你怎么应对 AI Evals 面试和 take-home 作业，60 分钟，提前看他那篇 FAQ 效果更好。
10月2日
Hamel AI产品工程笔记：Evals、Context、Systems优化顺序
Hamel把9.5小时课程浓缩成优化优先级手册，告诉你AI产品工程该先做什么后做什么。
9月29日
Hamel Husain：不懂领域也能上手做 evals
做 AI 产品但担心自己不懂 evals？Hamel Husain 说看数据就能找到一堆低垂果实，不用等专家。
9月28日
Hamel Husain 谈 LLM 评测：LLM judge 本质是需要校验的分类器
Hamel Husain 回答了一个实用问题：用 LLM 当评审做评测时，得先拿人工标注数据验证它靠不靠谱，别直接信。
9月26日
Hamel Husain 分享合成数据生成方法：先组合场景再生成查询
Hamel Husain 讲了个实用的合成数据技巧：先列场景组合再生成查询，比直接让模型瞎编靠谱多了。
9月23日
Hamel Husain 与 Shreya Shankar 总结 AI 团队评估工作流的经验
Hamel Husain 和 Shreya Shankar 跟 50 多家 AI 公司合作后写的评估方法论，还附了个免费插件让编程 Agent 帮你搭评估，做产品的都该看看。
Hamel Husain 与 Shreya 推出进阶 evals 技能包，可让编码智能体代做大部分工作
做 AI 产品必看，Hamel 和 Shreya 把踩坑经验做成免费技能包，让编码智能体帮你搭 evals，Ramp 和 Cursor 都靠这招降本增效。
Evals 进阶指南：Hamel Husain 与 Shreya Shankar 联手发布续篇
做了 50+ 家 AI 公司评测的两位作者出了续篇，Ramp、Shopify、Cursor 怎么靠 evals 降本增效都写了，还送个插件。