9月2日
10:13
10:13官方账号arXiv cs.LG@Jingtan Wang, Arun Verma, Xiaoqiang Lin, Zhengyuan Liu, Nancy F. Chen, Daniela Rus, Bryan Kian Hsiang Low
精选73°
研究解决了大模型后训练中监督微调(SFT)与强化学习(RL)的标注预算分配问题。该研究提出了近最优区域概念,即使在2-10%的小容忍度下,该区域也很宽。研究发现近最优区域随模型规模扩大而变宽,并能从小代理模型可靠转移到大型目标模型。研究结果在不同任务、模型家族和基于偏好的离策略与基于奖励监督的在策略RL方法中保持一致。
推荐理由:研究人员发现小模型实验就能确定可转移的近最优区域,无需大规模搜索,大幅降低大模型训练成本。
09:33
09:33官方一手arXiv: DeepSeek@Mustafa Yasir Altunhan, Hüseyin Özgür Kamalı, Eray Tüzün
精选73°
研究通过微调GPT-4o和多个开源模型(CodeLlama-7B、CodeQwen1.5-7B等)来分类PR与问题的对应关系。微调后的模型准确率和F1-micro提升了6.15%,F1-macro提升了14.69%。CodeLlama-7B表现最佳,代码差异与问题内容对预测影响最大。
推荐理由:研究人员微调了多个大模型来自动匹配PR和问题,准确率提升显著,还能解释模型决策依据。
8月26日
09:48
09:48elvis@omarsar0
精选
A paper discusses the impact of harnesses on agent benchmark scores, revealing significant variance caused by harness configurations. The study compares three frontier models across 100 tasks, showing harness-induced variance is 7.8x larger than model-induced variance. The authors propose a Harness Card for structured disclosure. Paper available at arxiv.org/abs/2605.23950.

推荐理由:This paper reveals the hidden influence of harnesses on AI model scores, offering a new perspective on leaderboard comparisons. It's a must-read for those interested in understanding the true performance of AI models.
01:08
8月25日
16:14
10:15
8月24日
22:33
8月23日
16:18
8月22日
03:53
8月21日
17:08
06:58
06:58IT之家博客/媒体
精选
蚂蚁百灵开源了 Ling-3.0-tiny-base 和 Ling-3.0-flash-base 模型。官方开放了预训练、中期训练和 WSM 合并等 6 个关键训练节点权重。Ling-3.0-tiny-base 模型总参数 7.9B,在代码能力上表现优异。Ling-3.0-flash-base 模型总参数 124B,适合研究者和开发团队继续训练。这些 Base 模型并非聊天模型,不建议直接部署为面向终端用户的服务。

推荐理由:蚂蚁百灵把 Ling-3.0-tiny 和 flash 的 Base 模型开源了,还把训练过程中的 6 个关键节点权重都放出来了。tiny 模型参数少但代码能力强,flash 模型参数多适合继续训练,对研究者挺有用。
02:05
02:05Philipp Schmid@_philschmid
精选
Awesome Gemma 资源库已在 GitHub 上线。该库收录了 16 个 Gemma 模型变体的模型卡片和合集。它还提供了 Ollama、vLLM 和 LiteRT 的设置指南。此外,库中包含 Unsloth、Tunix 和 MLX 的微调教程。社区项目、应用和演示也包含在内。

推荐理由:Google 的 Awesome Gemma 资源库上线了,里面有你想要的模型卡片、部署指南和微调教程,比自己找方便多了。
8月20日
23:04
8月19日
03:38
8月17日
8月15日
19:32
8月14日
8月13日
17:54
17:54官方账号Cohere@cohere
精选
Cohere 宣布其视觉模型 North Micro Vision 已集成至开源微调框架 Axolotl。用户无需自备 GPU 或服务器,即可直接开始训练该模型。Axolotl 官方文档已提供 Cohere 模型的配置说明,地址为 docs.axolotl.ai。这降低了视觉模型微调的门槛。
推荐理由:想微调 Cohere 的视觉模型 North Micro Vision?现在用 Axolotl 就能跑,不用自己买显卡,直接上手试试吧。
17:48
17:48官方账号NVIDIA AI@NVIDIAAI
CodeRabbit与Baseten合作,用CodeRabbit自身的路由决策数据微调了NVIDIA Nemotron 3.5 Lightning。整个微调过程耗时不到3小时,花费低于100美元。微调后的模型相比此前的GPT级模型,准确率提升约4%,推理成本下降约50%。详细技术解析已发布在CodeRabbit官方博客。
事件专题

推荐理由:CodeRabbit用不到100美元和三小时微调了NVIDIA新模型,比原来的GPT级模型准确率高4%,推理成本还省一半,想省钱的可以看看。
07:20
07:20官方账号NVIDIA AI@NVIDIAAI
精选
NVIDIA 发布全新 MoE 模型 Nemotron 3.5 Lightning。distil labs 作为欧洲发布合作伙伴,对其进行了微调。该团队将微调版与 4 个可比 MoE 模型在 6 项任务上对比,未微调时排名第三,微调后跃居第一。完整数值与失败场景已公布在 distil labs 博客上。
事件专题

推荐理由:NVIDIA 的 Nemotron 3.5 Lightning 微调后,在 6 项任务上超过 4 个同类 MoE 模型拿了第一。想知道怎么调出来的,可以看这篇。
03:57
03:57官方一手marktechpost@Sana Hassan
精选
AllenAI 的 Open Instruct 框架支持在 16GB 显存上完成 LLM 后训练全流程。教程覆盖 SFT、DPO、RLVR 和 GRPO 四种主流方法。验证器(verifier)被用于评估模型输出质量。无需分布式计算基础设施,单卡即可运行。
推荐理由:想自己微调模型又没大显卡?这份教程教你在 16GB 显存上跑完 SFT、DPO、GRPO 全流程,用的还是 AllenAI 的开源框架。
8月11日