Diagnose

general · 首次出现 2026-05-22 · 最近出现 2026-10-28 · 累计提及 20

综述

Diagnose(诊断)在 AI 领域正在从一个泛化的工程词汇,变成一类专门研究方向的核心动作——即对大模型的失败模式、能力短板和系统故障进行系统化定位。它与传统的医疗诊断或运维排障不同,强调的是用可量化的方法找出模型'哪里不行、为什么不行',进而指导优化和微调。

Diagnose 在大模型研究中的近期进展

  • ESPO: Error-Structured Prompt Optimization via Diagnose, Diversify, and Stabilize:这项工作提出了一套'诊断—多样化—稳定化'的提示词优化流程,把对模型报错的诊断结果结构化,再据此生成更稳健的 prompt 变体,代表了 Diagnose 正在被工程化为自动化优化闭环的一环。
  • CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data:CRAFT 通过对评估 rubric 做聚类来诊断 LLM 的薄弱能力,并据此生成针对性的微调数据,把'发现问题'和'解决问题'直接串成一条链路。
  • Routing Drift Alone Does Not Diagnose Failure in Merged MoE LLMs:这篇论文则给 MoE 模型的诊断泼了冷水——路由漂移本身并不能作为合并 MoE 模型失败的诊断依据,提醒研究者不能依赖单一信号下结论。
  • Where Can a Decision Model Diagnose HVAC Faults? Reasoning Demand, Physical Representation, and Robustness Under Shift:在应用侧,决策模型被用于暖通空调(HVAC)故障诊断,研究考察了推理需求、物理表征以及在分布偏移下的鲁棒性,说明 Diagnose 也正在成为 AI 落地物理系统的试金石。
  • 当前焦点与观察点

    目前围绕 Diagnose 的讨论集中在三点:一是诊断信号的可信度,Routing Drift 那篇论文表明常见的直觉指标可能误导判断;二是诊断与优化的自动化衔接,ESPO 和 CRAFT 都在尝试让'定位问题→生成修复数据'形成闭环;三是诊断能力在真实场景(如 HVAC 等物理系统)中的泛化与鲁棒性。值得注意的是,独立开发者社区也在借用这一思路——比如 Viking 分享的 mattpocock/skills 1.0.0 工程技能包和 redesign-existing-projects 等技能,本质上都是把'诊断现有项目'变成可复用的 AI 工作流。接下来值得观察的是,诊断类方法能否从论文走向稳定的生产级工具,以及多信号融合的诊断框架是否会取代单一指标。

    相关报道

    9 条在档
    Diagnose · AI 话题观测|AI热报