Hamel Husain:评估该多久跑一次?权衡成本与业务价值
Hamel Husain 回答了一个很实际的问题:evals 到底多久跑一次,他的答案是看成本、饱和度和业务价值,不是死记一个周期。
Hamel Husain 回答了 LLM 评估频率这个常见问题。他的建议是权衡评估的运行成本、评估是否已经饱和,以及 catching 错误所能带来的业务价值。也就是说没有固定周期,需要按具体场景判断。更多 FAQ 汇总在他整理的文档里。
Q: How often should I run my evals?
A: Weigh the cost and how saturated the eval is against the business value of catching the error.
Read more: https://t.co/qkszc9HgJ0
Read all the FAQs here: https://t.co/JkGztq12l9 https://t.co/owHiYNcURK