教小模型做数学题的新训练方法,把教师模型的逐token提示和答案对错验证揉进一个GRPO更新里,Qwen3-1.7B和4B都涨了不到1个点,做RL训练的可以看看细节。
全部动态
AI 相关资讯全量信息流 · 296 条
9月24日
UECR-GRPO:用熵校准统一策略内蒸馏与GRPO的信用分配
越南学者用本地部署 LLM 与混合 RAG 自动生成数据处理活动记录
越南 PDPD 合规催生的实用论文:本地跑 Qwen3.5-27B 配混合 RAG,效果追平云端 DeepSeek-V4-Flash,还公开了越南语 RoPA 基准。
9月22日
9月21日
9月18日
BioPhys-Bridge 基准数据集发布,用于评估跨学科生物物理研究中的科学推理能力
朋友发了这个新基准数据集,专门用来测试模型在生物物理领域的科学推理能力,比之前的基准更复杂,能看出不同模型在这个专业领域的真实水平。
研究揭示视觉语言模型抗干扰能力与提示词冗长的关系
这个研究挺有意思的,它发现给AI模型问问题的时候,用更详细、更啰嗦的描述,能让模型在处理有问题的图片时更不容易出错,比如把‘有猫吗?’改成‘请仔细看并回答:有猫吗?’。
9月17日
9月16日
JustFit 让 27B 模型在 24GB 笔记本上处理 20万token
朋友,刚看到 JustFit 这个技术,它能让 27B 的 Qwen 模型在 24GB 笔记本上处理 20万token,比之前的方法快很多,对本地开发很有用。
9月15日
Gavel 方法从冻结 LLM 中提取技能路由信号
朋友,这是 DeepSeek 的新方法,叫 Gavel,能从冻结的 LLM 里直接读出该用哪个技能,不用加载那么多东西,在他们的新基准测试里比其他方法好很多。
9月11日
9月10日
9月9日
Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up Where Imitation Fails
研究解决了小模型模仿专家时的性能下降问题,提出了新的在线策略修正方法,让小模型在特定任务中更接近大模型表现。
9月7日
9月4日
9月3日
9月2日
9月1日