fine-tuning

general · 首次出现 2026-05-22 · 最近出现 2026-10-16 · 累计提及 236

综述

Fine-tuning(微调)是指在预训练大语言模型的基础上,使用特定领域数据对模型进行二次训练的技术,使模型能够更好地适应特定任务或行业需求。近期,微调技术领域出现了多项重要进展,包括新工具发布和研究方法创新。

Fine-tuning 近期进展

  • 2023年10月,LangChain推出了LangSmith Fine-Tuning工具和smithtune CLI,目前该功能已进入公测阶段,为开发者提供更便捷的模型微调方案。LangSmith推出微调功能与smithtune CLI,现进入公测
  • 2023年10月,Fireworks AI宣布与LangChain合作,成为其微调训练合作伙伴,共同推动微调技术的发展和应用。LangChain推出LangSmith Fine-Tuning与smithtune CLI,Fireworks AI为训练合作伙伴
  • 在arXiv上发布的研究ROFT提出了一种创新的微调方法,仅通过自我复盘微调,就能使Qwen3.5-4B模型在不依赖强化学习的情况下提升智能体表现,为微调领域提供了新思路。ROFT:只用自我复盘微调,Qwen3.5-4B 不靠强化学习也能提升智能体表现
  • 另一项研究关注LoRA微调中的入侵阈值问题,提出了一种谱分布定律,有助于更深入理解微调过程中的参数变化。LoRA微调中的入侵阈值:一种谱分布定律
  • 当前焦点与观察点

    微调技术正朝着更高效、更专业的方向发展。LangChain等公司推出的工具正在降低微调技术的使用门槛,使更多开发者能够应用微调技术。同时,研究界也在探索更创新的微调方法,如ROFT所示,通过减少对强化学习的依赖,降低微调成本。NVIDIA等公司也在将微调技术应用于特定领域,如金融和医疗领域,推动行业专用模型的发展。未来,微调技术可能会更加注重效率提升和领域适配,同时保持模型的通用能力。

    相关报道

    10 条在档