Diagnose(诊断)在 AI 领域正在从一个泛化的工程词汇,变成一类专门研究方向的核心动作——即对大模型的失败模式、能力短板和系统故障进行系统化定位。它与传统的医疗诊断或运维排障不同,强调的是用可量化的方法找出模型'哪里不行、为什么不行',进而指导优化和微调。
Diagnose 在大模型研究中的近期进展
当前焦点与观察点
目前围绕 Diagnose 的讨论集中在三点:一是诊断信号的可信度,Routing Drift 那篇论文表明常见的直觉指标可能误导判断;二是诊断与优化的自动化衔接,ESPO 和 CRAFT 都在尝试让'定位问题→生成修复数据'形成闭环;三是诊断能力在真实场景(如 HVAC 等物理系统)中的泛化与鲁棒性。值得注意的是,独立开发者社区也在借用这一思路——比如 Viking 分享的 mattpocock/skills 1.0.0 工程技能包和 redesign-existing-projects 等技能,本质上都是把'诊断现有项目'变成可复用的 AI 工作流。接下来值得观察的是,诊断类方法能否从论文走向稳定的生产级工具,以及多信号融合的诊断框架是否会取代单一指标。