Subquadratic(次二次复杂度)指计算量随输入长度增长低于二次方的一类模型架构设计,主要用于解决 Transformer 注意力机制在长上下文场景下算力开销过大的问题。近期,Subquadratic 公司发布了面向企业决策场景的 SubQ Snap 模型,宣称实现了线性扩展能力,让这一技术方向从论文走向了商用产品。
Subquadratic 近期进展
当前焦点与观察点
Subquadratic 方向的核心争议在于线性或次线性的复杂度优势往往伴随精度或表达能力的折损。此前线性注意力、状态空间模型等技术路线在长文本检索、精确复制等任务上表现不及标准注意力,因此 SubQ Snap 声称的 384K 上下文 660ms 延迟,需要在实际企业任务中验证其输出质量是否达标。
值得关注的三个观察点:一是基准测试之外的第三方评测结果,尤其是长上下文"大海捞针"类检索精度;二是定价与部署成本,次二次架构通常需要专用推理栈,落地门槛是推广关键;三是头部实验室是否跟进——如果主流模型同样通过混合架构实现长上下文降本,Subquadratic 作为独立厂商的差异化空间将被压缩。总体来看,这一领域正处在从论文验证到商用检验的过渡期。