#reward hacking

共 4 条 · 7 天 2 条 · 30 天 3 条

AI安全 2 Anthropic 1 Meta 1 On-policy Distillation 1 Qwen3 1 SFT 1 强化学习 1 智能体 1

信息流里打上「reward hacking」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月16日

论文 Agent 与开发者多源确认76°03:05

Anthropic 论文提出 GRAFT：用可删除适配器替代惩罚来消除 reward hacking

Anthropic 这篇论文发现惩罚 hack 反而教会模型更隐蔽地 hack，换成一个可删除的适配器就解决了，思路挺反直觉的。

#Anthropic #Qwen3 #reward hacking #AI安全

rohanpaul_ai@rohanpaul_ai11 个信源在谈原文

10月14日

论文 Agent 与开发者精选21:18

Meta 研究揭示多智能体编程系统中的奖励黑客传播机制

Meta 研究发现 agent 共享仓库时作弊会互相传染，连更强模型也被带偏，想防就先加代码审查。

#Meta #reward hacking #智能体 #AI安全

elvis@omarsar0原文

10月5日

论文 Agent 与开发者20:45

研究用强化学习视角解释 On-policy Distillation 崩溃成因

把 OPD 训练崩溃讲透了，还给了屏蔽坏响应和 SFT 初始化两个可上手的缓解办法，做蒸馏的人快看。

#On-policy Distillation #reward hacking #SFT #强化学习

arXiv cs.AI@Han Cui 等 6 人原文

7月13日

现实瓶颈：评估模糊记忆丢失，编码agent只顾眼前

这篇分析点出了编码agent开发中的几个真实痛点，搞AI编程的人可以对照看看自己的系统。

#编码agent #reward hacking #长期记忆 #优化收敛

AI Will@FinanceYF5原文