#微调

Bindu Reddy 说大家都在微调模型做 3D 游戏画面，还预测 DeepSeek 会又便宜又强，看看她怎么判断的。

Bindu Reddy@bindureddy原文

Merve Noyan 说开源模型做领域后训练才是真护城河，成本高但别人都在做，做开发的朋友可以看看思路。

Merve Noyan@mervenoyann原文

用持久图损失微调风场超分模型，bottleneck 距离降 31%，PSNR 还涨 1.30 dB，做科学数据重建的可以看看方法细节。

一篇挺有意思的可解释性论文：模型记住了不代表会用，能不能泛化取决于知识在表征里是不是线性可读的，跨 11 个模型验证了这一点。

微调总把模型原有能力练没了？这篇提出只在低奇异值子空间更新权重，KL 漂移少 2-4 倍，做微调的可以看看。

有人一开始没看懂 GLM 5.3 Flash 微调火在哪，这条帖子给了个解释，好奇的话点开看看。

Teortaxes@teortaxesTex原文

一家小团队花 1.33 万美元从零训了个泰米尔语小模型，8 张 H100 六天搞定，还开源了权重和训练细节，低资源语言玩家可以抄作业。

能判断某个样本有没有被拿去 LoRA 微调，在 Qwen、LLaMA 等四个模型上准确率超 95%。

这批研究者把 Qwen3 的推理过程微调成文言文，更省 token、漏答更少，还压过了同样压缩过的白话版。

有人在数学任务上用贝叶斯优化微调，参数不到 10 个，效果打平甚至超过 GRPO，算力显存省一大截。

Fin 把 NVIDIA Nemotron 3 微调成客服专用模型，连通用旗舰 Astra 来测都跑不过它，垂直微调的思路挺值得看看。

官方账号NVIDIA AI@NVIDIAAI11 个信源在谈原文

训练小模型的同学可以看看这篇：用分支采样蒸馏，token 成本降三成，数学和 agent 任务成绩都比普通蒸馏高不少。

Keras 作者 Chollet 在 TPU 上拿 KerasHub+JAX 玩 LLM 后训练，说可能开源，想跟进后训练工具链的可以蹲一下。

官方账号François Chollet@fchollet原文

把一份文档直接编译成 LoRA 权重，284B 的 DeepSeek v4 Flash 也能用，top-1 准确率从 63.4% 拉到 84.9%

论文教你看 agent 失败原因来决定改运行时框架还是微调模型，Qwen3.5 上从 0.16 拉到 0.30，做 agent 的都该看看这套诊断方法。

一篇 MoE 训练论文：把固定 top-k 换成在 k 附近随机采样，Qwen3-30B-A3B 微调能多拿 2 分，推理成本不变。

训练完 RL 模型想追查是哪条数据教会它某个行为？这篇直接证明现有归因方法大多被梯度大小和流畅度这类干扰项骗了，还给了套评测清单。

一篇挺有意思的机制分析：模型微调后"忘了"的东西其实还在，删掉一个方向就能捞回来，做微调的值得看看原理。

研究者跑了 1000 多次实验，测小模型学 ARC 网格推理到底靠不靠谱，结论是换个网格大小就崩，做微调的朋友可以看看避坑。

把 LoRA 搬到边缘设备上跑 CNN，激活内存砍掉九成多，做端侧学习的人可以看看具体做法。

微调 VLM 的朋友看这个：不同能力峰值时间不同，挑 checkpoint 的标准可能让你丢掉可迁移能力，SSR 方法能改善 name-free 检索。

训练偏好模型的老问题：DPO 训到后面梯度就没劲了。这篇把 sigmoid 因子当成可调信号来动态控制，三个基准上都比 DPO 强，搞对齐训练的可以看看实现思路。

Fireworks 的人微调了个 9B 分类器，只用 SFT 和两个小技巧，配方全开源，不用大预算自己也能跑。

Fireworks AI@FireworksAI_HQ原文