WISD：用弱化模型做自蒸馏提升推理能力

论文提出 WISD 方法，通过构造原模型的弱化版本（低比特量化或幅度剪枝），利用强弱对比作为训练信号进行自蒸馏。该方法不需要特权信息，只需无标注提示词。剪枝将 Qwen3.5-4B 在 HMMT 2025 上的准确率从 57.7% 提到 70.5%，在 LiveCodeBench v6 上从 39.1% 提到 56.7%。量化将 Qwen3.6-35B-A3B 在同一基准上分别从 68.5% 提到 74.6%、61.8% 提到 69.5%。量化与剪枝平均比原模型提升 4.0 和 5.5 个百分点。