Together AI 发布 Together Compiler：面向 AI 推理的持续编译系统

Together AI 发布 Together Compiler（TKCC），定位为首个专为 AI 推理优化设计的持续 Agent 编译循环，论文已挂 arXiv。系统针对现有方案的吞吐量-保真度权衡，提出 Tiered Persistent Engine 将引擎启动开销与前向计算解耦，并用成本模型选择并行配置来初始化优化过程。 TKCC 在 Llama 1B 工作负载上比高度优化的手写 Megakernels 快至 1.7 倍，在 InferenceX 基准上比最好的开源引擎在 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash 等前沿模型上最高提升 2.6 倍 TPS。batch size 1 下它创下了新纪录：M3.1 Flash 达 1111 TPS，DeepSeek v4.1 Flash 达 1205 TPS。 论文还包含对 Agent 上下文管理的消融实验和生产部署经验，目前 TKCC 已在生产集群中服务数万亿 token。该系统通过 Agent 爬山法持续应对模型发布频繁、架构多样化、流量分布多变的优化难题，将编译循环变成自动化流程。