评估 LLM 时你可能一直测错了东西:这篇论文证明离线跑基准和线上 A/B 测的根本不是同一个指标,用户适应后模型排名都可能反转。做模型评估、部署选型或实验设计的工程师和研究者应该看看它给出的判断条件。
#用户行为
共 15 条 · 7 天 1 条 · 30 天 2 条
信息流里打上「用户行为」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月13日
研究:用户自适应行为如何影响 LLM 交互系统的评估
10月23日
为什么更好的产品也会失败:用户行为改变才是采纳的关键
这篇文章讲了个扎心的事:产品再好,用户不改习惯照样没人用,教你先验证行为改变这一关。
10月11日
9月7日
8月7日
从提问到行动:全球如何将ChatGPT投入使用
OpenAI出了份全球ChatGPT使用数据,能看到不同国家的人都在用ChatGPT干啥,从问到做,挺有意思的。
7月23日
论文11:39
生成式AI驱动的学术图书馆资源用户参与研究:以ChatGPT、Perplexity、Gemini为例这篇论文用两年多的真实数据,告诉你ChatGPT、Perplexity、Gemini怎么把用户引向学术图书馆的论文和学位论文,适合关心AI如何改变学术搜索的人。
6月26日
Anthropic升级研究方法追踪Claude的经济影响
Anthropic改进了对Claude经济影响的研究方式,用每小时采样看用户一天中怎么用、用Claude做什么,数据很细。
6月11日
6月3日
OpenAI CFO透露用户使用模式:免费用户日均7次,Pro用户11倍
做AI产品运营或定价策略的人,可以从这些使用数据中看到用户分层与付费转化规律,值得参考。
5月27日
5月20日
AI Mode 如何改变美国用户的搜索方式
搜索行为正在从关键词转向自然语言,做 SEO 和内容营销的团队需要重新思考策略,建议点开看看具体数据洞察。
5月14日
5月11日