论文11:26
研究提出用数据归因指导预训练数据筛选这篇论文把数据归因从"事后分析"变成"事前指导",思路很实在:归因发现的规律能跨语料复用,比一次性排序省钱。做预训练数据筛选的工程师可以直接拿五类证据框架当 checklist 用。
这篇论文把数据归因从"事后分析"变成"事前指导",思路很实在:归因发现的规律能跨语料复用,比一次性排序省钱。做预训练数据筛选的工程师可以直接拿五类证据框架当 checklist 用。
做数据筛选的人应该看看这篇:它实测了 MAGIC 这类影响函数在 86M 和 152M 模型上的表现,发现短 checkpoint 窗口的 LDS 能到 0.86 以上,但全程归因基本失效,数据块排序也不能跨 run 迁移。想用影响函数挑训练数据的团队,这篇能帮你避开明显的坑。
一个人4个月搞出APP工厂,从数据采集到自动上架全自动化,连广告素材都自动生成,复刻CapCut,效率惊人。