arXiv 新论文:用激活碎片化几何检测 LLM 被压制的知识
有人用匿名改写前后的隐状态几何差异,判断模型是真不知道还是憋着不说,代码也开源了,做遗忘评测的可以看看。
有人用匿名改写前后的隐状态几何差异,判断模型是真不知道还是憋着不说,代码也开源了,做遗忘评测的可以看看。
一篇讲特征擦除为什么失败的论文:线性投影擦不干净,遗忘的知识一个标量补丁就能恢复,还解释了 LLM unlearning 复现的机制。
借法医测谎思路做的 PIR,能从 Gemma、Qwen 等模型内部读出它明明知道却装不知道的答案。
朋友,这个研究挺有意思的,它审计了263个模型检查点,发现模型去失数据后,发布的状态和重新训练的状态不一样,说明模型状态本身可能发生了变化。