事件专题 ·官方一手

BAAI 与清程极智合作推出基于 FlagOS 的端到端推理优化方案

BAAI(北京智源人工智能研究院)与清程极智(Qingmao Intelligence)宣布将 FlagOS 扩展至商用推理场景,推出端到端推理优化解决方案。双方称方案在内核(kernel)层面、服务延迟(serving-latency)以及前缀缓存(prefix-cache)三方面都带来了改进。 FlagOS 定位为面向 AI 推理的开源系统软件栈,此番与 Qingmao Intelligence 的合作意味着它从系统软件延伸到商业化推理部署环节。优化覆盖了从底层算子到服务层延迟和缓存策略的多个层级,属于推理基础设施方向的软硬件协同工作。 对需要自建或托管推理服务的企业来说,内核优化、服务延迟与前缀缓存分别对应计算效率、响应速度和重复上下文场景的成本节省。推理优化赛道上 SGLang、vLLM 等方案竞争激烈,国内系统层方案的合作走向值得关注。

当前结论

智源和清程极智把 FlagOS 推向商用推理了,从内核、服务延迟到前缀缓存都在做优化。如果团队在自建推理服务,这套覆盖多层级的方案可以对比 vLLM、SGLang 看看差异在哪。

2 个信源41° AI 热度最后更新 2026/11/19 01:57:24

证据链

2 个信源
相关来源 1智源研究院 BAAI
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。