AITOPAI热报

Qwen3.5-0.8B

product · 首次出现 2026-07-24 · 最近出现 2026-11-03 · 累计提及 21

综述

Qwen3.5-0.8B 是阿里通义千问系列中一个参数量约 8 亿的小型开源语言模型，主打轻量部署和低成本推理，常被用作端侧应用和研究实验的基座。近期它因一项 MIT 的权重空间编程研究而受到关注：仅改动极小比例的权重，就能让其数学能力大幅提升，这让这个原本低调的小模型成为讨论「让大模型直接改写其他模型权重」的典型案例。

Qwen3.5-0.8B 近期进展

  • MIT 提出权重空间编程：GPT-6 Astra 改 Qwen3.5-0.8B 约 0.016% 权重，MATH-500 提升至 6 倍：MIT CSAIL 提出 Weight-Space Programming 方法，让 GPT-6 Astra 直接读写目标模型权重。据报-G 道，仅修改 Qwen3.5-0.8B 约 0.016% 的参数，其 MATH-500 数学成绩提升至原来的 6 倍。
  • Qwen3.5-0.8B often spent 32K tokens on a math problem without reaching an answer：Latent.Space 提到，改动前 Qwen3.5-0.8B 在一道数学题上曾耗尽 32K token 仍无法得出答案，这一对比凸显了权重改写前后能力的差距。
  • GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重，数学能力提升最高 6 倍：Hugging Face 联合创始人 Thomas Wolf 等多位从业者转发了这项研究，认为「模型直接修改模型权重」可能开辟一条不同于传统微调的优化路径。
  • Shopify 基于 Qwen3.5-0.8B 微调模型击败 GPT 5.6-sol xhigh：更早前，Shopify 团队基于 Qwen3.5-0.8B 做微调，在特定任务上的成绩超过了 GPT 5.6-sol xhigh，显示小模型在垂直场景中的潜力。

    • 当前焦点与观察点

    围绕 Qwen3.5-0.8B 的讨论目前集中在两点。其一是方法本身：让一个前沿大模型直接改写另一个模型的权重，绕开了常规的数据收集与训练流程，如果结果可复现，将降低小模型能力提升的门槛；但也有观点认为，6 倍提升出现在数学这一窄任务上，能否推广到通用能力仍是未知数。

    其二是小模型路线的价值。从 Shopify 的微调实验到 MIT 的权重改写，Qwen3.5-0.8B 反复被选作实验对象，说明 1B 以下的开源小模型正成为验证新训练与优化技术的重要试验台。后续值得关注的观察点包括：权重空间编程是否在其他模型和任务上得到独立验证、相关代码与改动后的权重是否会开源，以及这类方法与 LoRA 等传统参数高效微调方式的实际成本对比。

    相关报道

    10 条在档