算力紧缩下 Fal、Together、Baseten 转向自购 Nvidia 芯片
Fal、Together、Baseten 这些靠租 GPU 做推理服务的公司，现在开始自己买 Nvidia 芯片了。算力越来越难租到，说明推理这条赛道的成本和供应格局在变。做部署的朋友可以看看别人怎么重新算这笔账。
#推理服务
共 37 条 · 7 天 6 条 · 30 天 24 条
信息流里打上「推理服务」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月13日
11月11日
论文揭示前缀缓存的智能体服务存在亚稳态：一次突发可致吞吐腰斩70分钟
跑过 vLLM 智能体服务的人应该都见过那种莫名的性能崩塌，这篇论文把它解释清楚了：一次几小时的突发流量就能让命中率掉到 10%，吞吐腰斩还自己好不了。论文给了能用的预算器方案，不用调参，直接把 KV 池撑爆的可能性掐掉。
Databricks 研究副总裁谈安全：不使用质量差的 neocloud GPU
这是 Databricks 内部人的第一视角：以前嫌公司安全流程太慢，看到别家推理服务商接连出安全事故后改观了。他说的具体一条是不用 neocloud 的低价 GPU。做企业服务、要评估推理供应商的团队值得看看这条思路。
11月8日
SGLang Summit 2026 公布分组议程，聚焦智能体系统基础设施
SGLang 办的峰会，11 月在旧金山，议程全是智能体服务、评估这些硬核工程话题，做 agent 后端的人可以看看。
11月7日
OpenRouter 10月数据：月处理 790T tokens，较1月增长25倍
OpenRouter 晒了10月月报，790T tokens 是1月的25倍，还拆了各家模型留存和价格，想看真实用量数据的可以翻翻。
推理创业公司处境艰难：需自建模型或供应链以应对竞争
Nathan Lambert 聊了推理创业公司的困境：光做推理不够，得自建模型或供应链，不然随时被取代。
11月5日
ServerBench：让编码智能体自己设计 LLM 推理服务系统
这篇论文挺有意思：让 Claude Sonnet 5.5 这类编码智能体去自己写推理服务系统，成绩做到 vLLM 的 4.87 倍，还附带基准复现方法。
OpenRouter 数据：DeepSeek 官方仅服务 16.84% 的自家模型 Token
OpenRouter 的数据挺有意思：DeepSeek 官方只接到不到两成的自家流量，Novita 等十几家第三方都在分这块蛋糕。
数据：DeepSeek 每 5 个 token 只有约 1 个来自自家推理服务
DeepSeek 模型的 token 只有 17% 走自家通道，剩下散在 19 家服务商手里，开源模型推理市场有多卷，这组数据一看便知
11月4日
MiniMax H3 Lite 与 Highspeed 在 Replicate 半价至年底
MiniMax 的 H3 Lite 和 Highspeed 在 Replicate 上打五折到年底，走 Cloudflare AI Gateway 也能用，想低成本跑这两个模型的可以薅一波。
Fireworks 每日托管超 40 万亿 token 的专用模型推理
Fireworks 晒了自家数据：每天处理 40 万亿 token，全是给客户定制的后训练模型，可以看看企业定制模型的需求规模到底有多大。
Amazon Bedrock 在印度上线 Kimi K3 本地推理
Moonshot 的 Kimi K3 现在能在印度本地跑推理了，数据不出 Mumbai 和 Hyderabad，还附了处理 Indic 语言文档的示例代码。
11月1日
Baseten 传以 300 亿美元估值融资约 20 亿美元
推理云公司 Baseten 传融资 20 亿、估值冲到 300 亿美元，收入一季度翻三倍，比 Fireworks 的 175 亿估值还高一截。
10月30日
GearUp：利用 DAG 空闲时间隐藏 Serverless 推理加载开销
一篇系统方向的论文：GearUp 把模型加载塞进 DAG 的空闲时段，延迟最高降到十分之一，内存还省九成，做推理服务的人可以看看。
10月26日
10月23日
AI 推理服务商 TokenPulse 在新加坡开设 APAC 中心
做 AI 应用的朋友可以看看，TokenPulse 在新加坡设了亚太中心，serverless、按需、预留三种付费方式都有，部署推理服务时多个选择。
10月21日
DeepSeek 在知乎披露 V4.1 Flash 推理服务利润率细节
DeepSeek 在知乎自曝家底：V4.1 Flash 每卡每小时收入 $38，有人算出毛利率约 80%，这数据 Twitter 上根本没有。
10月20日
DeepSeek 靠扩散与托管渗透，美国政策却让推理服务商坐收 90% 毛利
有人算了一笔账：DeepSeek 模型免费扩散，托管方却拿 90% 毛利，Moonshot 和智谱的托管生意也被点名讨论。
DeepSeek 单卡时收入 38 美元，是 H100 租金 3 美元的十倍吗？
有人算出 DeepSeek 每张卡时收入 38 美元、H100 租金才 3 美元，就说利润十倍，这条帮你拆解这个算法错在哪。
DeepSeek 推出 DeepInfer 推理服务
DeepSeek 出了个叫 DeepInfer 的东西，主打让 AI tokens 到处都能用上，感兴趣可以盯一下详情。
开源权重模型为中国 AI 实验室带来用户，也带来收入压力
开源模型让 Moonshot AI 和 MiniMax 涨了用户，但第三方托管商拿同款模型打价格战，钱反而难赚，这篇讲清了背后的矛盾。
vLLM 与 Physis-AI 联合发布推理服务系统 PhysisServe
vLLM 和 Physis-AI 一起搞了个推理服务系统 PhysisServe，靠流水线和多流调度同时压低延迟和提高吞吐，技术还会进 vLLM-Omni，做推理部署的可以盯一下。
FlowMaker：联合优化 LLM 工作流部署，goodput 提升 10.14 倍
这篇论文做了个叫 FlowMaker 的系统，能自动帮你选 LLM 工作流的模型和部署方案，实测 goodput 提到 10 倍还省钱，做推理服务的可以看看。
10月15日
DeepSeek 宕机后其他模型平台全部过载，流量激增引发讨论
DeepSeek 一宕机，别家模型平台全挤爆，这个侧面数据挺能说明它的调用量有多恐怖。
10月8日
vLLM 核心维护者将于 10 月 19 日在 San Jose 谈推理经济账
vLLM 的核心维护者亲自讲推理服务的成本和延迟怎么权衡，做部署的人去听听能省不少踩坑时间。
10月4日
Prime Intellect 推出 Prime Inference 推理服务平台
Prime Intellect 做了个兼容 OpenAI API 的推理平台，跑开源模型速度到 101 tok/s，还支持按需付费的 Serverless 模式。
Prime Intellect 推出 Prime Inference，用 vLLM 大规模部署 GLM-5.3
Prime Intellect 用 vLLM 把 GLM-5.3 跑到大规模推理，还拆解了智能体负载下的调度和工具调用坑，做推理服务的人可以看看。
9月30日
Manus 支持 OpenRouter 模型接入
Manus Flex 新增三家推理服务商，让你能自由选择模型来构建智能体。
9月29日
9月22日
9月19日
亚马逊 SageMaker 推出 13 款新推理服务
亚马逊又推了 13 款新推理服务，覆盖了从推理建议到 KV 缓存的多种功能，对开发者来说挺实用的。
9月9日
Perplexity使用NVLink Blackwells进行推理服务
Perplexity宣布用上NVLink Blackwells，每天5000万查询的AI搜索服务性能提升，还能扩展到Vera Rubins。
8月26日
8月13日
Groq 成为 NVIDIA 云合作伙伴
Groq 成了 NVIDIA 的云合作伙伴，等于推理基础设施拿到官方认证，CEO 还放话要跑赢所有人。
7月28日
Kimi K3开源上线，多家推理服务API价格一致但Token plan开始打折
Kimi K3开源了，各平台价格统一，但有些套餐已经开始打折，Cursor给的额度也高，想用便宜算力的可以留意了。
7月17日
Together AI为Cursor AI提供生产推理服务
Together AI给Cursor AI加了推理引擎，编程助手用起来会更顺滑，竞争格局又变了。
5月19日
Modal 团队用 Devin Auto-Triage 自动排查推理事故
做推理服务运维的团队终于有了能主动干活的事故排查工具——Devin Auto-Triage 自动监控、分析代码和指标，省去手动提示的麻烦，建议有运维痛点的团队试试。
