SFT 相关 AI 资讯 · AITOP

9月2日

10:13

官方账号arXiv cs.LG@Jingtan Wang, Arun Verma, Xiaoqiang Lin, Zhengyuan Liu, Nancy F. Chen, Daniela Rus, Bryan Kian Hsiang Low

精选73°

研究解决了大模型后训练中监督微调(SFT)与强化学习(RL)的标注预算分配问题。该研究提出了近最优区域概念，即使在2-10%的小容忍度下，该区域也很宽。研究发现近最优区域随模型规模扩大而变宽，并能从小代理模型可靠转移到大型目标模型。研究结果在不同任务、模型家族和基于偏好的离策略与基于奖励监督的在策略RL方法中保持一致。

论文 SFT RL 大模型

推荐理由：研究人员发现小模型实验就能确定可转移的近最优区域，无需大规模搜索，大幅降低大模型训练成本。

原文

8月31日

09:33

官方账号arXiv cs.AI@Menghan Liu, Elynn Chen

精选73°

VERA-8B是一个全新的端到端审计推理系统，能够在执法行动发生前识别审计风险。该模型首次将SFT和GRPO统一到同一证据标准下，超越了所有评估基线性能。审计工作无法容忍无依据的主张，因此模型引入弃权和不确定性资格来处理不确定或证据不完整的情况。研究团队还设计了AuditBridge将原始文件转化为可验证记录，再转化为审查就绪的报告。

论文 VERA-8B 审计推理 SEC文件

推荐理由：VERA-8B是首个专门针对审计风险预测的模型，能将SEC文件转化为可审计报告，比传统金融语言模型更注重证据支持。

原文

8月28日

18:08

官方账号arXiv cs.AI@Dewu Zheng, Ruizhe Ye, Yanlin Wang, Yang Ye, Hongyu Zhang, Ensheng Shi, Xilin Liu, Yuchi Ma, Jianxing Yu, Zibin Zheng

精选73°

SWE-Prime是一种多粒度、两阶段的SFT数据选择方法。该方法在轨迹级别筛选高质量代表性子集，在段落级别评估各段落对解决方案的贡献度和学习价值。实验显示，使用SWE-Prime选择的10%轨迹子集进行训练，在SWE-Bench Pro和SWE-Bench Verified基准上分别获得12.2%和24.2%的相对性能提升。

论文 SWE-Prime SFT SWE-Bench

推荐理由：SWE-Prime用10%数据训练就能超越全数据效果，解决了软件工程领域模型训练数据质量低的问题。

原文

8月19日

11:42

官方一手arXiv: OpenAI@Ayoub Kirouane, Christos Petrocheilos

研究对三个前沿专家混合模型（阿里巴巴、OpenAI、NVIDIA，3.6-4.0B参数）进行微调，使其在低资源语言中推理。准确率基准显示几乎无变化，基准本身存在噪声（随机种子变动导致分数变化7.7点）。基础模型从不使用希腊语思考（0/1000推理轨迹），而SFT后98%的推理使用问题语言，且四个模型的语法判断均有提升。SFT无法修复自身缺陷，但强化学习可显著改善格式跳过和答案泄漏问题。

论文 SFT RL 低资源语言

事件专题

推荐理由：论文揭示SFT和RL如何让模型真正用低资源语言思考，而非表面准确率提升，还发布了五个实用检查点。

原文

7月22日

08:52

Fireworks AI@FireworksAI_HQ

精选

MiniMax M3 模型现已可在 Fireworks 上进行训练。用户可通过托管 LoRA SFT 和 DPO 进行标准微调。Fireworks 还提供 Training API，支持自定义 SFT、DPO 和 RL 训练循环，包含检查点、滚动推理和适配器热加载功能。

AI模型 MiniMax M3 Fireworks LoRA

推荐理由：想 Fine-tune MiniMax M3 的话，Fireworks 现在直接支持 LoRA 和 DPO，还能自定义 RL 训练，省事不少。

原文

7月21日

18:37

Geek@geekbb

精选

该教程逐行解析 MiniMind 源码，涵盖 Tokenizer、模型结构、预训练、SFT、DPO、PPO、GRPO 共 10 章内容，每章标注对应源码文件和函数名。附录17篇进阶文章补充量化、投机解码、RLHF 等 MiniMind 未涉及的主题。适合希望从代码层面理解大模型全流程的读者。

技巧 MiniMind 源码预训练

推荐理由：想用代码搞懂大模型训练全流程？这个教程把 MiniMind 的源码一行行讲透，从 Tokenizer 到 GRPO 都有，还附赠量化、RLHF 等进阶知识。

原文

6月29日

19:47

eric zakariasson@ericzakariasson

73°

Elon Musk在推文中透露，Cursor团队为v9模型的SFT和RL训练做出了重要的工程贡献。当前1.5T参数量的模型已通过补充训练加入Cursor数据。而两周前开始的2T参数量训练在数据范围和规模上大幅改进，训练配方也获得多项升级，预计7月底完成，8月发布。

AI模型 Elon Musk Cursor v9

事件专题

推荐理由：Elon Musk说他们和Cursor团队合作训练v9模型，2T参数量的版本数据更全，8月就能见到，值得关注。

原文

6月25日

10:40

官方账号arXiv cs.LG@Yupu Hao, Zhuoran Jin, Huanxuan Liao, Kang Liu, Jun Zhao

该论文通过实验发现，多步工具使用强化学习（RL）训练中，模型可出现灾难性崩溃，性能骤降且工具调用结构失效。根本原因是特定控制token概率突增，但基础工具使用能力并未丢失。研究者系统探索了离策略监督、提示引导、错误示例等多种监督信号，并比较了同步与交错训练方案。结果表明，将监督微调（SFT）与RL交错进行可显著提升稳定性，但在格式和内容分布外（OOD）评估中性能下降。该工作揭示了RL失败机理，并展示了多样化监督信号对鲁棒训练的价值。

论文 LLM 强化学习工具使用

推荐理由：这篇论文分析了多步工具RL训练容易崩溃的原因，并实验证明交错SFT与RL能有效提升稳定性，对做智能体RL的人很有参考价值。

原文

05:58

Fireworks AI@FireworksAI_HQ

Fireworks AI 宣布其平台现支持对开源编码模型 GLM 5.2 进行微调，涵盖 SFT、DPO 和 RL 三种方法。GLM 5.2 在多个编码基准上表现强势，但 Fireworks 指出排行榜赢家未必适合你的代码库，微调可缩小差距。训练后的模型可直接在同一生产栈上提供服务，无需切换或迁移。早期客户反馈热烈，目前开放私测申请。

AI产品 GLM 5.2 Fireworks SFT

推荐理由：想用最强开源编码模型但通用版不顺手？Fireworks 让你微调 GLM 5.2，SFT/DPO/RL 全包，训练完直接上线，不用折腾。

原文

6月19日

09:53

官方账号arXiv cs.LG@Ali Asaria, Tony Salomone, Deep Gandhi

论文使用Qwen2.5-7B-Instruct对比了零样本、仅SFT、仅RAG和SFT+RAG混合四种方法在安大略住宅租赁法条文引用上的效果。混合方法以0.481精确匹配（节+条）取得最高分，且将幻觉降至零。SFT提升了高召回候选集中条款选择的鲁棒性，而仅用bge-small嵌入就超越了更大专用检索模型。扩大训练集未带来提升，0.70目标尚未达到。

论文 Qwen2.5-7B RAG SFT

推荐理由：这篇论文用Qwen2.5-7B做了个四路对比，发现微调加检索混合方案在法条引用上精确匹配0.481还零幻觉，比纯微调或纯检索都强，而且用轻量bge-small就够用。

原文

6月18日

09:22

官方一手arXiv: DeepSeek@Siddharth Aphale, Kelly Liu

一项研究分析了SFT（监督微调）的过度训练对RLVR（基于强化学习的验证）训练的影响。使用Qwen2.5-Coder-3B和DeepSeek-Coder-6.7B模型，发现SFT深度增加时，预RL的pass@1上升，但GRPO的pass@10从0.806降至0.481（3种子均值，n=20）。预RL熵与GRPO结果正相关（ρ=+0.69）。研究者提出一个两阶段诊断方法，结合预RL熵筛选和早期GRPO熵监控，可标记高风险检查点。简单KL正则化和标签平滑无法挽救已崩溃的检查点。

论文 Qwen2.5-Coder-3B DeepSeek-Coder-6.7B SFT

推荐理由：这篇论文发现了SFT过训练会搞崩GRPO训练的秘密，还给出了诊断方法来提前止损。做RLHF或强化学习训练的可以看看。

原文

6月16日

10:49

官方一手arXiv: DeepSeek@Ke Miao, Jiaxin Li, Hongliang Chen, Yuke Hu, Zhan Qin

论文Safe Trigger提出利用大推理模型(LRM)自身的潜在安全意识进行安全对齐，无需外部人工标注。该方法先使用监督微调(SFT)为不安全查询注入安全标签触发安全分析，对一般查询保持原响应实现自适应；再通过直接偏好优化(DPO)提升安全分析的稳定性。实验显示，DeepSeek-R1-Distill-Llama-8B在有害和越狱基准上的攻击成功率(ASR)平均下降24.65%和36.72%，且通用性能几乎不受影响。

论文 Safe Trigger DeepSeek-R1 大推理模型

推荐理由：这篇论文发现LRM自己就能识别风险，用SFT+DPO触发安全分析，让DeepSeek-R1的越狱成功率高降36%，还不用外部数据，挺实用的。

原文

6月1日

10:36

官方账号arXiv cs.AI@Qing Wang, Jacob Devasier, Chengkai Li

本文首次系统研究了掩码扩散语言模型（MDLM）在图到文本生成中的解码轨迹，发现MDLM会优先解码实体，然后是关系词和功能词，最后才是结构词，这与自回归模型的线性生成方式不同。研究还发现监督微调（SFT）会破坏这一策略，过早固定结构词导致输出长度固定，引发信息遗漏或幻觉。为此，作者提出了一种无需训练的推理时修改方法——lambda缩放结构解码，将BLEU-4提升9.4分。最后，他们提出了Graph-LLaDA，将图Transformer编码器集成到LLaDA的解码过程中，显式利用关系图结构。跨数据集评估表明，基于LLM和MDLM的方法泛化能力显著优于传统基线。

论文扩散模型图到文本生成解码轨迹

推荐理由：这篇论文揭示了扩散模型在图到文本任务中的独特解码机制，做结构化文本生成或知识图谱相关工作的开发者值得关注，尤其是SFT反而有害的发现可能改变你的微调策略。

原文

5月16日

21:49

向阳乔木@vista8

本文用简洁的图示对比了三种主流大语言模型后训练技术：SFT（监督微调）让模型学会遵循指令；DPO（直接偏好优化）使输出更符合人类偏好；GRPO（群体相对策略优化）进一步激发模型的推理和思考能力。三者在训练目标和方法上层层递进，是当前LLM对齐和增强推理能力的关键技术路径。对于想了解模型训练流程或优化模型输出的开发者，这是一份直观的入门参考。

AI模型 LLM 后训练 SFT

推荐理由：想搞懂LLM后训练技术栈的开发者，这张图帮你三分钟理清SFT、DPO、GRPO的关系和演进逻辑，建议收藏。

原文