自蒸馏是一种深度学习技术，通过利用模型自身的输出作为输入来提升模型的性能。 自蒸馏近期进展 路由分歧不等于行为影响：同权重MoE自蒸馏研究：该研究提出了一种新的自蒸馏方法，通过路由选择来提高模型的表达能力。 测试时自进化框架提升GUI视觉定位准确率7.4%：通过自进化框架，自蒸馏技术显著提升了GUI视觉定位的准确率。 无监督自蒸馏：U-OPSD仅靠模型自身生成提升推理能力：无监督自蒸馏技术U-OPSD能够仅通过模型自身来提升推理能力。 OPD-V：基于模态平衡的视觉在线自蒸馏：OPD-V通过模态平衡实现视觉在线自蒸馏，提高了模型的泛化能力。 当前焦点与观察点 自蒸馏技术在近期的研究中表现出了显著的进展，尤其是在提升模型性能和泛化能力方面。研究者们探索了多种方法，包括路由选择、自进化框架和无监督学习等，以进一步提高自蒸馏的效果。同时，一些研究也指出了自蒸馏可能存在的局限性，如对教师模型依赖和优化信号丢失等问题。