11:20官方账号arXiv cs.AI@Arthur Becker, Jakob Kemmler, David Thulke, Christine Schäfer, Christian Dugast, Hermann Ney该研究探讨了监督微调(SFT)中目标响应可能引发模型幻觉的问题。研究团队在Qwen 3 4B和OLMo 3 7B模型上测试了知识对齐SFT方法。实验显示,该方法在WildHalu和Biography基准上减少了事实性幻觉,同时保留了模型通用能力。Recall Rewrite方法在UnknownBench上表现出最强的拒绝行为改进。论文监督微调知识对齐Qwen 3推荐理由:这篇论文提出了两种新方法,能减少大模型幻觉,特别适合关注模型可靠性的研究者。原文稍后读已读值得跟进有用关注 监督微调
09:10官方账号arXiv cs.LG@Nan Li研究团队针对2B开放权重模型在LM Playschool Challenge中的表现,发现模型失败不仅是知识不足,还有局部决策问题。他们提出三步训练方案:监督微调获取广泛游戏参与能力,使用回合局部偏好对修复特定对话游戏家族中的可验证失败,并保留对话游戏外的通用能力。该方法将公开clemscore从10.67提升至38.92,领域内分数从13.41提升至41.17,同时保持静态性能基本不变。论文LM Playschool Challenge2B模型对话游戏代理推荐理由:研究人员为小模型对话游戏代理设计了一套三步训练法,显著提升了特定任务表现,同时保持通用能力。原文稍后读已读值得跟进有用关注 LM Playschool Challenge
00:52官方一手AWS Machine Learning Blog@Elyse Zhang精选本系列文章第一部分探讨了监督微调(SFT)数据准备的基础,包括质量检查、对话(JSONL)格式化、推理和工具调用模式以及代表性的训练/评估分割。技巧数据准备监督微调格式化推荐理由:AWS分享了SFT数据准备的第一部分,包括格式和质量检查,对于想要了解如何为监督微调项目准备数据的人来说是个好资源。原文稍后读已读值得跟进有用关注 数据准备
07:38IT之家(博客/媒体)72°马斯克在 SpaceX 财报电话会议上预告,Grok 4.6 将于下周发布,总参数量为 1.5 万亿。该模型重点改进监督微调(SFT)和强化学习(RL)技术。他还透露未来 3~4 周将推出 Grok 4.7,参数量达 2.1 万亿。AI模型Grok马斯克监督微调推荐理由:马斯克说 Grok 4.6 下周就来,1.5 万亿参数,重点改了监督微调和强化学习,可以先蹲一波。原文稍后读已读值得跟进有用关注 Grok
11:05官方账号arXiv cs.LG@Tong Xie, Yuanhao Ban, Yunqi Hong, Sohyun An, Yihang Chen, Cho-Jui Hsieh精选该论文重新审视了监督微调(SFT)的传统做法,指出最大化每个token的似然可能因噪声或与模型先验不一致而效果不佳。作者提出将SFT视为目标分布设计问题,并引入Q-target框架,将监督分解为对观测token的依赖程度和剩余概率的分配方式。基于此,他们提出了Target-SFT方法,直接根据期望的目标分布构建训练目标。在十个推理数据集-模型组合的实验中,Target-SFT一致优于现有方法,展示了基于目标的设计原则的有效性。这项工作为SFT提供了更统一的视角,并开辟了更广阔的搜索空间。论文监督微调目标分布设计Q-target框架推荐理由:做LLM微调的团队终于有了一个更系统的设计框架——Target-SFT直接告诉你如何选择目标分布,而不是盲目拟合每个token。做推理模型优化的开发者建议试试,效果在多个数据集上都有提升。原文稍后读已读值得跟进有用关注 监督微调