Together AI 发布 Together Compiler:面向 AI 推理的持续编译系统
Together AI 把推理编译交给 Agent 循环自动调优,Llama 1B 上比手写 Megakernels 快 1.7 倍,InferenceX 上比开源引擎高 2.6 倍 TPS。做推理部署和性能优化的工程师值得看看这篇论文的机制细节和生产经验。
Together AI 把推理编译交给 Agent 循环自动调优,Llama 1B 上比手写 Megakernels 快 1.7 倍,InferenceX 上比开源引擎高 2.6 倍 TPS。做推理部署和性能优化的工程师值得看看这篇论文的机制细节和生产经验。
Cline 里免费用 Gemini 3.8 Flash,1M 上下文加 291 tok/s,跑分还压过 GPT-5.6 Luna 和 DeepSeek v4.1 Flash,写代码可以直接试。