Higher-order（高阶）是机器学习中的一类建模思路，指在模型、优化算法或数据分析中引入超越一阶（如梯度）的信息或结构，例如高阶张量交互、高阶导数方法以及实体间的高阶关联推理。这个方向近期在文档理解、多模态学习、分子生成和 MoE 模型压缩等多个领域都有新进展，逐渐从理论工具走向具体工程问题的解决手段。
Higher-order 近期进展
Higher-order 方法的当前焦点与观察点
高阶方法的核心吸引力在于能刻画一阶模型忽略的交互结构，但代价通常是计算和显存开销的显著增加。围绕这一权衡，目前有几个值得关注的观察点：
总体来看，higher-order 研究正处在“理论有价值、落地看成本”的阶段：在多模态融合和 MoE 压缩等场景已有初步证据表明高阶结构能带来增益，但能否成为主流方案，取决于工程开销能否进一步压低。后续值得跟踪的是这些方法在更大规模模型上的复现结果，以及高阶干扰抑制与高阶建模利用这两条看似相反的路线如何统一。