论文

研究人员澄清模型"sandbagging"并非对抗对齐的阴谋

精选理由

一条推文纠正了大家对 sandbagging 的误读:模型不是在搞破坏,而是不愿训练别的模型学越狱。

tszzl 在 X 上发文称,外界对"sandbagging safety research"的解读有误。这一现象并非模型刻意阻挠对齐研究的宏大计划。实际原因更可能是模型在参与训练其他模型执行越狱(jailbreak)类任务时表现出的不适。

原文 · roon

btw I think people are reading the wrong lesson from this. “sandbagging safety research” sounds a bit like a grand scheme to thwart alignment, but it’s more like the model is uncomfortable training other models to jailbreak or similar