Qwen3 相关 AI 资讯

论文 Agent 与开发者精选00:20

腾讯论文：用递归自我改进训练终端智能体，Terminal-Bench 从 20.68% 升至 50.58%

腾讯发了篇终端智能体训练论文，五阶段交替微调加 PPO，Terminal-Bench 成绩直接翻倍多，奖励审计那段很值得细看。

#Tencent #Qwen3 #Terminal-Bench #PPO

elvis@omarsar0原文

技巧 Agent 与开发者精选21:27

Reasoning From Scratch 第 8 讲：用蒸馏替代强化学习训练推理模型

Raschka 推理模型系列的完结篇，手把手教你用 DeepSeek R1 的数据把 Qwen3-0.6B 蒸馏出推理能力，还能跑通 MATH-500 评估。

#DeepSeek R1 #Qwen3 #MATH-500 #蒸馏

官方账号Sebastian Raschka@rasbt原文

模型 Agent 与开发者精选15:31

开源多语言语音识别模型 Hojo-ASR-Multi-V1 发布，平均 WER 3.54

把 Qwen3-4B 接到语音识别解码端，5 种语言平均 WER 3.54，Apache 2.0 开源可本地跑，做语音转写的可以试试。

#Hojo-ASR #Qwen3 #语音识别 #开源模型

事件专题

rohanpaul_ai@rohanpaul_ai2 个信源在谈原文

论文 Agent 与开发者11:28

CATCH 方法通过持续对抗训练提升 LLM 诚实度

一篇把对抗训练用在诚实度上的论文，几百个样本就能让 Llama-3.3-70B 在三个诚实度基准上变靠谱，还能不掉能力。

#CATCH #Llama-3.3 #Qwen3 #AI安全

arXiv cs.LG@Yuan-Chen Chang 等 4 人原文

论文 Agent 与开发者09:44

Waypoint-OPD：用门控在策略蒸馏迁移 RL 引起的策略变化

一篇蒸馏论文：用教师模型 RL 中途检查点的方向一致性做门控，Qwen3 系列学生六个设置全拿下最高分，成本只多一次打分。

#Waypoint-OPD #Qwen3 #知识蒸馏 #推理模型

arXiv cs.LG@Bingxi Hou 等 7 人原文

论文 Agent 与开发者多源确认76°03:05

Anthropic 论文提出 GRAFT：用可删除适配器替代惩罚来消除 reward hacking

Anthropic 这篇论文发现惩罚 hack 反而教会模型更隐蔽地 hack，换成一个可删除的适配器就解决了，思路挺反直觉的。

#Anthropic #Qwen3 #reward hacking #AI安全

事件专题

rohanpaul_ai@rohanpaul_ai11 个信源在谈原文

论文 Agent 与开发者12:56

Latent Compaction：用测试时训练压缩 KV cache，32 倍压缩下 RULER 准确率达 96.7%

清华 THUNLP 开源了个 KV cache 压缩方法，压到 1/32 还能在 RULER 上保持 96.7% 准确率，比 KVZip+ 的 40% 高出一大截，长文档检索场景可以直接试。

#KV cache #测试时训练 #RULER #Qwen3

arXiv cs.LG@Yingfa Chen 等 4 人原文

论文 Agent 与开发者精选12:49

Penn State 与 Microsoft Research 提出 Behavioral Self-Rewarding 改进 SWE 智能体训练

训练编程智能体只看测试通过与否，组内全过或全败就没信号。这篇论文让模型自己 pairwise 比较轨迹当奖励，Qwen3-14B 白拿 2.6 个点。

#SWE-bench #Qwen3 #Microsoft Research #强化学习

DAIR.AI@dair_ai原文

论文 Agent 与开发者12:49

ActionOPD：动作级在线蒸馏方法，让小模型学会智能体决策

把强智能体蒸馏进小模型的新方法，不要求师生同族模型，Qwen3-4B 实测涨 3.3-6.9 个点，做 agent 压缩的可以看看。

#ActionOPD #Qwen3 #知识蒸馏 #智能体

arXiv cs.AI@Huining Yuan 等 8 人原文

论文 Agent 与开发者09:42

文言文当推理语言：Wenyan Thinking 让中文模型思考更省 token

这批研究者把 Qwen3 的推理过程微调成文言文，更省 token、漏答更少，还压过了同样压缩过的白话版。

#Qwen3 #文言文 #推理模型 #微调

arXiv cs.AI@Minghan Li, Guodong Zhou原文

论文 Agent 与开发者精选09:22

Primus Projection：单机仿真加自动调优，替代千卡分布式训练试错

调千卡训练配置不用再烧 GPU 试错了，单卡跑不到 30 分钟，就给 Mixtral 8x22B 找到比官方参考快 27% 的配置。

#Primus Projection #分布式训练 #Mixtral 8x22B #DeepSeek V3

arXiv: DeepSeek@Anshu Raina 等 10 人原文

论文 Agent 与开发者00:53

SRO：用LLM智能体自动优化后训练配方，Qwen3上远超基线

SRO让LLM自动设计后训练配方空间，再用贝叶斯选试验，Qwen3上分数远超基线，代码已开源。

#SRO #Qwen3 #智能体 #后训练

arXiv: DeepSeek@Ruohong Liu 等 5 人原文

论文19:49

CACTUS：曲率感知剪枝优化器，剪枝同时保留影响函数

做剪枝的可以看看：CACTUS 比 LLM-Surgeon 快 28 倍，还能保留影响函数做数据选择。

#CACTUS #模型剪枝 #Qwen3 #影响函数

arXiv cs.LG@Mehdi Makni 等 3 人原文

论文 Agent 与开发者18:16

MCGPO：基于匹配上下文的 LLM 智能体训练新方法

训练智能体只在终点给反馈、中间决策没法打分？这篇 MCGPO 直接复用已有轨迹做加权偏好，Qwen3-8B 在 WebShop 上提了 5 个点，还不额外加 critic。

#MCGPO #LLM智能体 #Qwen3 #WebShop

arXiv cs.AI@Chenxu Zhang 等 6 人原文

论文 Agent 与开发者精选05:32

HarnessSQL：训练与部署共用执行环境，Qwen3-14B 在 Spider 2.0 提升至 54.8%

阿里 Qwen3 模型在训练时套上部署用的执行环境，Spider 2.0 成绩直接翻倍多，做法是把数据库装进沙盒里边跑边学。

#HarnessSQL #Qwen3 #Text-to-SQL #Spider 2.0

elvis@omarsar0原文

论文 Agent 与开发者精选01:48

Sakana AI 提出 MASS：无需外部验证器的递归自我改进方法

Sakana AI 发了篇论文叫 MASS，让 Qwen3.6 自己出题自己打分再微调自己，两轮下来性能涨到 1.6 倍，开放式任务也能自我改进了。

#Sakana AI #MASS #Qwen3 #递归自我改进

elvis@omarsar0原文

论文 Agent 与开发者09:44

Elastic Expert Routing：软化 MoE top-k 路由边界，提升 OLMoE 与 Qwen3 微调效果

一篇 MoE 训练论文：把固定 top-k 换成在 k 附近随机采样，Qwen3-30B-A3B 微调能多拿 2 分，推理成本不变。

#MoE #Elastic Expert Routing #OLMoE #Qwen3

arXiv cs.LG@Yunkai Chai 等 7 人原文

论文 Agent 与开发者22:56

研究发现：基础模型加一句前缀即可提升推理成绩

有人发现给基础模型加一句"Okay"开头，Olmo-3-7B 在 MATH-500 就从 42% 涨到 78%，原理分析也很有意思。

#Olmo-3 #Qwen3 #MATH-500 #推理模型

Aran Komatsuzaki (论文推介)@arankomatsuzaki原文

论文 Agent 与开发者19:23

NeutronGym：面向 LLM 智能体的中子仪器设计评测环境

用中子仪器设计测智能体会不会物理，7个模型最多做对7/16题，RL把Qwen3-8B从11%练到77%，比32B还强。

#NeutronGym #Qwen3 #McStas #智能体

arXiv cs.AI@Lijie Ding, Changwoo Do原文

技巧 Agent 与开发者精选71°08:49

Build A Reasoning Model 第 6 讲：用纯 PyTorch 从零实现 GRPO 训练推理模型

Raschka 又更新了，这讲直接用 PyTorch 手写 GRPO，把 Qwen3-0.6B 的数学成绩从 15% 拉到 47%，想搞懂推理模型怎么训的别错过。

#GRPO #Qwen3 #RLVR #DeepSeek-R1

shao__meng@shao__meng原文

论文 Agent 与开发者精选10:41

多令牌预测头后训练方法研究

DeepSeek团队发现，只需少量后训练就能让Qwen3-8B达到与MiMo-7B相当的推理速度，比原方法节省千倍训练资源。

#Qwen3 #MiMo-7B #DeepSeek #多令牌预测

arXiv: DeepSeek@Prachi Badarayani 等 11 人原文

论文 Agent 与开发者10:19

多教师在线蒸馏研究：从梯度到能力

研究Qwen3如何整合多个RL训练教师，发现梯度传递和参数更新的关键机制。

#Qwen3 #MOPD #蒸馏 #RL

arXiv cs.LG@Siqi Zhu 等 7 人原文

模型 Agent 与开发者22:14

微调Qwen3 4B超越Claude Sonnet 4.6

AWS上微调的Qwen3 4B击败了原始模型和Claude Sonnet 4.6，又快又便宜。

#Qwen3 #Claude Sonnet #微调 #AWS

Ate-a-Pi@svpino原文

论文 Agent 与开发者11:08

Semifactual Credit-Augmented Policy Optimization

SCAPO算法通过半事实稳定性改进了令牌级信用分配，在数学和分布外基准上表现优异。

#SCAPO #GRPO #Qwen3 #强化学习

arXiv cs.AI@Junshu Pan 等 8 人原文

论文 Agent 与开发者多源确认11:01

PivotOPD：学习从关键错误中恢复的多轮智能体

NVIDIA新方法让AI智能体犯错后能自我修正，在多个任务上超越13个基线模型。

#PivotOPD #Qwen3 #NVIDIA #多轮智能体

事件专题

arXiv cs.AI@Yinghui He 等 7 人11 个信源在谈原文

模型中美对照多源确认72°13:25

Anthropic指控7家中国公司蒸馏Claude模型

Anthropic点名7家中国公司，揭秘蒸馏技术原理与最新ODP方法，对比RL训练效率提升近10倍。

#Anthropic #Claude #蒸馏 #Qwen3

事件专题

掘金本周最热@程序员于老七11 个信源在谈原文

论文 Agent 与开发者精选10:43

后训练如何改变数学推理能力

这篇论文分析了不同后训练方法对数学推理的影响，发现压缩只是后训练的一种模式，而非普遍解释。

#Qwen3 #DeepSeek-Math #数学推理 #后训练

arXiv: DeepSeek@Hongyang Li 等 6 人原文

模型 Agent 与开发者精选09:37

EASE：自适应行为技能策展框架

MIT团队发布EASE框架，让一个技能策展器适应不同执行器行为，比传统方法更高效。

#EASE #自进化代理 #技能策展 #Qwen3

事件专题

arXiv: DeepSeek@Zhen Xiong, Qiaoyu Tan2 个信源在谈原文

论文 Agent 与开发者精选20:37

LLM后训练对错误奖励具有鲁棒性

论文发现LLM后训练对错误奖励有鲁棒性，便宜验证器效果不输昂贵的，对训练成本控制有启发。

#Qwen3 #Gemma #后训练 #验证器

Tanishq Abraham (论文推介)@iScienceLuvr原文

论文 Agent 与开发者精选18:34

ScopeIF提升大模型范围感知指令遵循能力

清华新方法让小模型在复杂指令任务上超越大模型，开源代码和数据已公布。

#ScopeIF #Qwen3 #Gemini-2.5-Pro #DeepSeek-V3.2

arXiv: DeepSeek@Bosi Wen 等 6 人原文

论文 Agent 与开发者14:56

PEARL：面向智能体强化学习的自适应 Prefill-Decode 弹性执行系统

训练智能体 RL 的人可以看看：PEARL 动态调 prefill-decode 配置还能借闲置 GPU，吞吐比 RLBoost+ 最高多 36.3%。

#PEARL #Qwen3 #强化学习 #GPU优化

arXiv cs.AI@Jiaan Zhu 等 9 人原文

技巧 Agent 与开发者17:04

本地部署大模型何时爆发？作者判断在 2029 年前后

作者用 Qwen3.8-27B 的部署成本算了笔账，结论是本地模型风口不在明年，得等硬件降价，讲得挺实在。

#Qwen3 #本地部署 #开源模型 #量化

Lxfater@lxfater原文

论文 Agent 与开发者09:12

研究显示推理模型的思考过程会消解部分偏见但制造更多新偏见

这篇 arXiv 论文拿三个 32B 模型做了思考前后对比，发现思考反而制造约 5 倍的新偏见翻转，做公平性评估的人该看看。

#QwQ-32B #DeepSeek-R1 #Qwen3 #推理模型

arXiv: DeepSeek@Deng Pan 等 7 人原文

技巧 Agent 与开发者精选06:01

SGLang 新增 /v1/score 接口与多候选项评分，优化决策模型推理

SGLang 加了个评分接口，做分类、排序这类决策任务时延迟直接砍到三分之一，用 Qwen3 的可以试试。

#SGLang #Qwen3 #Open-Jev #推理优化

官方账号LMSYS Org (SGLang)@lmsysorg原文

模型 Agent 与开发者00:43

RL-Kernel 集成 vLLM：Qwen3-8B 训练与推理 logprob 逐位一致

用 vLLM 做 RL 训练的老大难——训练和推理数值对不上，这次在 AMD MI300X 上真做到了逐位一致，做 RL 的都该看看。

#vLLM #Qwen3 #AMD MI300X #GRPO

官方账号vLLM@vllm_project原文

论文 Agent 与开发者10:39

UECR-GRPO：用熵校准统一策略内蒸馏与GRPO的信用分配

教小模型做数学题的新训练方法，把教师模型的逐token提示和答案对错验证揉进一个GRPO更新里，Qwen3-1.7B和4B都涨了不到1个点，做RL训练的可以看看细节。

#GRPO #Qwen3 #策略内蒸馏 #数学推理

arXiv cs.LG@Jie Zhang 等 5 人原文

论文中美对照11:27

InfoPPO：用信息密度替代token计数重参数化LLM强化学习

训练LLM做推理的看这篇：InfoPPO把RL时间步从token数换成信息密度，Qwen3数学基准五项全升，比PPO稳。

#InfoPPO #Qwen3 #PPO #强化学习

arXiv cs.AI@Yongcheng Zeng 等 12 人原文

论文 Agent 与开发者精选11:16

AutoViewMem：自配置正交视图优化对话长期记忆

给智能体做长期记忆的论文，把语义分视图放到写入阶段，LoCoMo 和 PersonaMem 上跑赢了记忆基线。

#AutoViewMem #Qwen3 #智能体 #长期记忆

arXiv cs.AI@Zijie Cao 等 10 人原文

模型 Agent 与开发者精选78°08:25

Cognition 团队开源 Jev-like 决策模型 Kev，基于 Qwen3 底座

朋友，Cognition 团队开源了一个叫 Kev 的小型决策模型，基于 Qwen3，你可以自己训练和本地部署，对消费级硬件很友好。

#Kev #Qwen3 #决策模型 #开源模型

事件专题

shao__meng@shao__meng2 个信源在谈原文

论文 Agent 与开发者精选10:33

LLM生成资产壳质量评估方法研究

工业4.0中，研究人员用三种模型测试了6400个资产壳实例，找到了评估AI生成资产壳质量的可靠指标。

#AAS #GPT-4o-mini #Qwen3 #DeepSeek-R1

arXiv: DeepSeek@Janek Groß 等 3 人原文