不用 RL 训练,只在开头加个 "Okay" 就能让 Olmo-3-7B 数学成绩翻近一倍,这篇论文把原因挖得很透,做模型训练的值得看看。
全部动态
AI 相关资讯全量信息流 · 296 条
10月6日
研究:特定起始 token 提示可让 base 模型接近 RL 训练后的推理表现
ARBOR:按问题分配秩的医学问答微调方法
给医学问答做了个按问题动态分配 LoRA 秩的微调方法,在 Qwen3-8B 上比 LoRA r16 高了 1 个多百分点,专科越多优势越大,做医疗方向微调的可以看看。
JEV 与 GPT-6 Luna、Qwen3.8-27B 在政治学文本标注任务上的对比
有人测了 TypeSafe 那个号称便宜快的 JEV,结果在 OpenAI 批量价格下根本不省钱,校准也没明显赢 Qwen3.8-27B,想做文本标注的可以看看。
Infinite-Dreamer:用图像编辑世界模型合成 GUI 智能体训练数据
GUI 智能体缺训练数据的老问题,这篇用图像编辑模型自己造数据,Qwen3-VL 微调后 AndroidWorld 成绩还涨了不少,代码开源可以直接试。
研究用 Bengali 数据集测高校立场极化,Llama 4 Maverick 零样本 F1 达 0.931
孟加拉语这种低资源语言上,Llama 4 Maverick 不微调就拿下 0.931 的 F1,比 BanglaBERT+XGBoost 还高,做低资源语言分类的可以看看。
10月5日
10月2日
10月1日
9月30日
9月29日
arXiv 论文:可再推导性决定多级智能体流水线故障后的恢复能力
这篇论文用 gsm_hard 上的 120 题实验算清了一笔账:流水线出错后,把原题重新喂给第一个下游阶段就能挽回 0.394,每题只多花 59.8 个 token,后面的阶段白搭。
PEARL:面向智能体强化学习的自适应 Prefill-Decode 弹性执行系统
训练智能体 RL 的人可以看看:PEARL 动态调 prefill-decode 配置还能借闲置 GPU,吞吐比 RLBoost+ 最高多 36.3%。
ROFT:只用自我复盘微调,Qwen3.5-4B 不靠强化学习也能提升智能体表现
Qwen3.5-4B 只靠写复盘解释做微调,不用奖励模型就在 SWE-bench 上跑赢 GRPO,做智能体训练的可以看看这套 ROFT 流程。
9月28日
9月25日
SkillGym:将人类技能内化为 LLM 可复用能力的训练框架
把人类技能攻略变成训练环境喂给模型,微调后 35B 小模型在 SkillsBench 上跑赢了 Claude Sonnet 4.6,方法思路挺有意思。
面向加纳三语青少年健康语音识别的基准测试与领域适配研究
加纳团队用 Qwen3-ASR-0.6B 给三种本地语言做语音识别,Ewe 错误率砍掉近一半,还上线了健康问答应用 KasaHealth,低资源语言落地的完整参考。