#Qwen3

共 105 条 · 7 天 14 条 · 30 天 39 条 · 话题观测 →

推理模型 14 强化学习 10 智能体 10 GRPO 6 数学推理 6 AI安全 5 微调 5 蒸馏 5

7月3日

模型 Agent 与开发者精选11:54

PAW编程范式：4B编译器生成适配器，0.6B模型匹敌32B

PAW让模糊函数（如日志告警、修复JSON）不再依赖大模型API。用4B编译器一次编译，0.6B小模型就能跑出32B的效果，还省内存和算力。

#PAW #Qwen3 #FuzzyBench #推理模型

arXiv cs.AI@Wentao Zhang 等 6 人原文

模型11:52

ReContext：递归证据重放提升长上下文推理

ReContext不用训练就能让模型用上长文里的关键信息，Qwen3和Llama3上都有效，适合处理超长文档推理。

#ReContext #Qwen3 #Llama3 #长上下文推理

arXiv cs.AI@Yanjun Zhao 等 9 人原文

7月2日

论文12:35

一层足矣？训练单层Transformer可媲美全参数RL训练

这篇论文发现RL训练只需调优一层Transformer就能接近全参数效果，还揭秘中间层才是关键，刷新认知。

#Qwen3 #GRPO #Transformer #RL训练

arXiv cs.LG@Zijian Zhang 等 7 人原文

论文精选10:07

LOCOS：用分散贡献评分检测非字面检索注意力头

这篇论文告诉你怎样用 LOCOS 找出模型里真正干活的注意力头，在长上下文检索任务上效果拔群，比旧方法准很多。

#LOCOS #Qwen3 #Gemma-3 #OLMo-3.1

arXiv cs.LG@Aryo Pradipta Gema 等 3 人原文

7月1日

论文09:59

Evil Spectra: 优化器如何放大或抑制突现错位

这篇论文告诉你：选对优化器能把模型对齐率差7倍，Muon比Adam更靠谱，还能用谱正则化补救。

#Qwen3 #Muon #Adam #突现错位

arXiv cs.LG@Jason R. Brown 等 3 人原文

6月30日

论文11:14

推测解码中的接受理论：贪婪与宽松规则何时保证生成一致性

这篇论文搞明白了推测解码里那些花式接受规则到底行不行，给出了数学保证，还在Qwen3上验证了，搞推理加速的值得一看。

#Qwen3 #speculative decoding #推理模型 #解码方法

arXiv cs.LG@Aaryam Sharma原文

6月25日

论文09:37

SARA：通过语义锚定路由对齐解锁MoE多语言知识

论文提出SARA方法，用语义锚对齐MoE路由，让低资源语言也能用好专家能力，Global-MMLU提升0.8%-1.2%。

#SARA #MoE #Qwen3 #多语言模型

arXiv cs.AI@Tianyu Dong 等 12 人原文

6月23日

论文12:03

随机性的起源：大语言模型不确定性量化的全面研究

这篇论文把LLM不确定性拆成四个层面，测了21种方法在多个基准上的效果，结论是共识方法最稳，模型越大越不模糊。

#LLM #不确定性量化 #Qwen3 #Llama 3.2

事件专题

arXiv: DeepSeek@Xiang-Jun Ou 等 6 人2 个信源在谈原文

6月22日

产品18:24

极摩客 EVO-X3 迷你主机发布：锐龙 AI Max+ 395，首发 21699 元起

极摩客发了款迷你主机，锐龙AI Max+ 395，126TOPS算力能本地跑235B模型，性能比RTX 4090还猛，21699元起。

#极摩客 #EVO-X3 #锐龙AI Max+ 395 #Qwen3

IT之家原文

6月18日

论文10:57

MAST：机制引导的选择性遗忘方法，降低RLVR推理遗忘的附带损害

这篇论文提出了MAST，一种更精准的模型遗忘方法，在Qwen2.5和Qwen3上只遗忘你想忘的，保留数学能力不掉。适合研究模型编辑或推理安全的同学。

#MAST #Qwen2.5 #Qwen3 #推理模型

arXiv cs.AI@Chenyu Zhou 等 4 人原文

6月16日

论文11:57

结构化链式思维提示在政治回避检测中的表现超越微调

想知道怎么用CoT提示检测政治回避？这篇论文拿Grok-4-Fast跑出了0.51的F1，比微调Qwen3强，还分析了怎么设计提示最有效。

#Grok-4-Fast #DeepSeek-V3.2 #Qwen3 #推理模型

事件专题

arXiv: DeepSeek@Tai Tran Tan, An Dinh Thien2 个信源在谈原文

论文11:04

Hyperball优化包装器提升大模型预训练效率

Muon在大模型上加速效果缩水？Hyperball通过固定矩阵范数，让Muon在1.2B Qwen3上又快了20-30%，还更好调参。

#Hyperball #Muon #Qwen3 #优化器

arXiv cs.LG@Kaiyue Wen 等 5 人原文

论文10:54

Expert Tying：MoE语言模型的层间专家参数共享

这个工作很实在：跨层共享专家参数让MoE模型内存减半，性能不掉，适合做模型压缩和高效训练的朋友看看。

#Expert Tying #MoE #OLMoE #Qwen3

arXiv cs.LG@Martin Jaggi原文

论文09:42

ASAG：基于注意力状态的推理模型自适应停止生成

想减少推理模型输出废话？ASAG免费即插即用，在Qwen3-8B上准确率升3.2%还省近40%token，实打实的效果。

#ASAG #DeepSeek-R1 #Qwen3 #推理模型

arXiv: DeepSeek@Jiakai Li 等 7 人原文

6月15日

论文11:11

Qwen3代码正确性在隐藏状态中的可解码性

论文揭示Qwen3隐藏状态如何预测代码正确性

#Qwen3 #代码正确性 #隐藏状态 #LiveCodeBench

arXiv cs.LG@Carlo Di Cicco原文

6月11日

产品精选72°14:06

苹果 CoreAI 端侧架构测试：M4 Mac 上 Qwen3 0.6B 解码速度是 MLX 的 2.47 倍

苹果端侧 AI 架构迎来重大更新，CoreAI 在小模型推理上显著提速，做本地 AI 应用或模型部署的开发者值得关注，尤其是 M4 Mac 用户可以直接感受到更快的响应。

#苹果 #CoreAI #端侧推理 #MLX

IT之家原文

6月3日

论文精选10:38

VaSE：面向推理模型的随机KV缓存淘汰方法

推理模型的长输出让内存和计算成本飙升，VaSE用随机淘汰策略在4倍压缩下保持高准确率，做推理模型优化的开发者可以直接参考论文实现。

#KV缓存 #推理模型 #内存优化 #随机淘汰

arXiv cs.LG@Ting-Yun Chang 等 6 人原文

6月2日

论文精选72°11:10

Qwen3 2-bit 推理失败模式与恢复：FP16 规划+循环救援提分至 87.2%

做推理模型量化和部署的团队终于有了针对 2-bit 失败模式的系统解法——不是简单降精度，而是用 FP16 规划和循环救援来修复生成过程，Qwen3 用户可以直接复现并提升准确率。

#推理模型 #量化/低比特 #Qwen3 #失败模式

arXiv cs.AI@Ekaterina Alimaskina 等 6 人原文

5月28日

论文精选72°11:56

MoE转稠密模型：首个系统框架将混合专家模型蒸馏为全稠密架构

这个框架解决了MoE模型在内存受限设备上部署的痛点，做模型压缩和边缘部署的团队可以直接参考其方法，比传统剪枝效果更好且训练更快。

#模型压缩 #知识蒸馏 #混合专家模型 #稠密模型

arXiv: DeepSeek@Junhyuck Kim 等 6 人原文

5月27日

模型官方一手07:14

用 ZeroEntropy Zerank-2 重排序器构建高精度检索管道

做 RAG 或搜索系统的开发者，这个教程直接教你用 Zerank-2 搭建两阶段管道，从环境配置到实战代码都有，值得跟着跑一遍。

#检索增强生成 #重排序 #交叉编码器 #Qwen3

官方一手marktechpost@Sana Hassan原文

5月25日

论文中美对照精选72°02:52

MoE模型浪费一半专家计算？ZEDA框架让Qwen3等模型跳过简单token

部署MoE模型的团队终于可以省下一半专家计算——ZEDA让Qwen3和GLM等模型自动跳过简单token，推理速度提升20%且几乎不掉精度，做模型推理优化的开发者可以直接参考论文方法。

#MoE #模型优化 #推理加速 #自蒸馏

rohanpaul_ai@rohanpaul_ai原文

5月19日

论文精选72°14:46

EnvFactory：自动合成可执行环境与鲁棒RL，提升工具使用Agent性能

做Agentic RL的团队终于有了自动化环境构建方案——EnvFactory只用85个环境就碾压了此前5倍数据量的方法，想省掉手动造环境成本的开发者可以直接用。

#Agentic RL #工具使用 #环境合成 #Qwen3

arXiv cs.LG@Minrui Xu 等 15 人原文

5月13日

论文精选75°19:12

稀疏到稠密奖励原则：语言模型后训练新范式

这篇论文为资源受限的团队提供了明确的训练策略——用最强模型做探索、用小模型做部署，做模型压缩或后训练的开发者可以直接参考这个稀疏到稠密的分配原则来提升效率。

#后训练 #强化学习 #知识蒸馏 #奖励设计

arXiv cs.AI@Yuanda Xu 等 6 人原文

模型中美对照精选15:51

Perplexity 发布 Qwen3 235B 在 NVIDIA GB200 上的推理研究

做大规模模型推理部署的团队值得关注——GB200 在 MoE 模型上的推理效率提升显著，Perplexity 的实践给出了可直接参考的优化路径。

#推理模型 #Perplexity #Qwen3 #NVIDIA GB200

官方账号Perplexity@perplexity_ai原文

5月11日

论文70°19:03

固定Token预算下思维链会挤占答案：耦合税现象

该工作对当前LLM推理优化具有实际指导意义，提醒研究者在固定输出长度场景中平衡推理链与答案空间，避免盲目延长思维链。

#思维链 #Token预算 #推理模型 #Qwen3

arXiv: DeepSeek原文