#微调

Arxiv上这篇综述把微调、RAG、对齐这些概念理清了，还给了六个维度的分类框架，做AI治理和模型管理的人可以拿来当参考。

这篇论文提出了Omega-S，一个只需权重矩阵的正则项，能让微调少忘旧知识，Llama-3-8B上保留率从62.9%提到84.1%，开销只增加4%。

这篇论文把教学策略拆成13种，用260段真实对话和3.2万条标注训练出TACTutor，在78个测试场景比基座涨了20%，盲测还赢过商业模型。

Anthropic这篇把宪法内容塞进中期训练，黑mail对齐提升17.5pp，还不掉性能。

想自动给论文图表打分？SciFigAlign比顶级大模型裁判准59%，还能区分同论文哪张图更好——审稿人能省大事。

这篇论文提出ROPD，能有效防止微调时被植入有害行为，同时不牺牲专业能力，比现有方法更能抵抗模板攻击。

MoE-LoRA 不用固定 k 值了，CARE 根据 token 难度自动选专家，在 LLaMA 和 Qwen 上效率更高，还能顺手做 OOD 检测。

你想微调模型干专业活又怕它变傻？MemSFT加个记忆模块，领域知识涨了，通用能力不掉，比全参数微调靠谱。

这个意外发现很有意思：混一点点推理数据，不改变推理过程，象棋AI就变强了。适合研究模型训练技巧的人。

Amjad Masad@amasad原文

这篇论文拆穿了为什么PortLLM的补丁隔了好几轮预训练还能用，理论部分用高维空间特性讲得特别清楚。

NVIDIA教你怎么用LangChain先调好评估工具再调模型，很实用的小技巧，省时间少踩坑。

官方账号NVIDIA AI@NVIDIAAI4 个信源在谈原文

想省训练成本又想模型推理更强？PPL-Factory用10%数据在MATH上比全量微调高4.8，门槛低、效果还更炸。

这篇论文系统测试了用SWE-trajectory数据微调Qwen2.5-Coder时，不同轨迹筛选方法的效果，发现数据质量和数量在不同规模下影响不同，值得参考。

这篇论文告诉你如何微调Whisper搞定低资源语言阿萨姆语的语音识别，效果比零样本好一大截，WER直接降了78%

CRAFT能帮你找到模型具体弱在哪里，不是笼统说不行，而是通过评分标准拆解能力，还能自动生成训练数据修bug。金融和法律测试里比随机采样效果好很多。

Qwen3-8B长上下文微调显存不够？HGA方案在16GB卡上跑16384令牌，比密集训练省显存还快一点，代码正在路上。