Running(模型运行/推理)是衡量 AI 模型能否落地的关键环节,指模型在云端服务器、本地设备或手机端实际执行推理的过程。随着模型压缩与端侧部署技术成熟,"能在什么硬件上 running、跑得多快多省"正成为评价模型实用性的核心指标之一,也是近期开源社区竞争的焦点。
模型 Running 能力的近期进展
当前焦点与观察点
当前围绕模型 running 的讨论主要集中在三个方向:一是端侧部署,3GB 级别的手机运行多模态模型展示了"轻量化 MoE + 量化"路线的潜力,但多模态能力在小内存下能保留多少仍待验证;二是推理加速,TokenSpeed 等框架优化与厂商原生 Flash 版本的结合,可能在吞吐和延迟上拉开新的差距;三是 agent 场景下的长时间运行稳定性,包括沙箱环境(如社区推荐的 boxlite 等轻量方案)与 self-improving agent harness 等研究方向,均在解决模型"跑起来之后如何跑得久、跑得对"的问题。
值得观察的是,当商业模型从按调用收费转向按结果收费时,running 成本将不再是纯技术指标,而会直接影响厂商的定价空间与利润结构。端侧与云端两条路线的分工也可能随之更清晰:高频、低延迟任务下沉到设备本地运行,复杂推理留在云端。