研究验证 MAGIC 轨迹数据归因在模型能力习得阶段的有效边界
做数据筛选的人应该看看这篇:它实测了 MAGIC 这类影响函数在 86M 和 152M 模型上的表现,发现短 checkpoint 窗口的 LDS 能到 0.86 以上,但全程归因基本失效,数据块排序也不能跨 run 迁移。想用影响函数挑训练数据的团队,这篇能帮你避开明显的坑。
做数据筛选的人应该看看这篇:它实测了 MAGIC 这类影响函数在 86M 和 152M 模型上的表现,发现短 checkpoint 窗口的 LDS 能到 0.86 以上,但全程归因基本失效,数据块排序也不能跨 run 迁移。想用影响函数挑训练数据的团队,这篇能帮你避开明显的坑。
研究人员发现影响函数选中的样本通过重写而非重加权能更有效改变模型行为,这对训练数据归因方法评估有重要启示。
做隐私审计或差分隐私研究的团队,这篇论文直接解决了单次运行审计中金丝雀干扰的痛点,提出的方法计算效率高且效果更好,值得点开看具体实现。