Numerata Lupine 让 Qwen3-32B 冷启动从 37.76 秒降至 1.11 秒
做自托管推理的团队该看看这个:Numerata 把 Qwen3-32B 冷启动干到 1.1 秒,靠的是直接迁移 GPU 状态而不是重建,存储走 400 Gb/s RDMA。对比传统 vLLM 的 37 秒冷启动,scale to zero 省钱方案这下真可用了。
Numerata 的 Lupine 引擎在 CoreWeave 基础设施上把 Qwen3-32B 在 vLLM 上的冷启动时间从 37.76 秒压缩到 1.11 秒,提速约 34 倍。其机制是把活跃 GPU 状态直接迁移到新 GPU,避免重建模型实例,实现真正的实时迁移。
存储层通常是这类优化的瓶颈,Lupine 因此把存储层搭建在 CoreWeave Dedicated VAST Storage 上,checkpoint 通过 400 Gb/s RDMA 网络在与 GPU 同一数据中心内传输,绕开了跨机房延迟。
冷启动降到秒级以内后,把推理端点缩容到零(scale to zero)变得实用,闲置时段可以完全释放 GPU,按需拉起,显著降低 32B 级模型的自托管推理成本。
A 32B model was cold-started in just 1.1 seconds on our infrastructure.
Numerata’s Lupine engine moves live GPU state onto a new GPU, so nothing gets rebuilt.
Their Qwen3-32B cold start time on vLLM dropped from 37.76 seconds to just 1.11 seconds.
Storage usually eats that win, but Lupine built its storage tier on CoreWeave Dedicated VAST Storage, so checkpoints move over a 400 Gb/s RDMA fabric in the same data center as the GPUs.
That makes scaling an endpoint to zero practical.
Read how they did it: https://t.co/J0ReIUqFn7
本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Qwen3-32B、vLLM、CoreWeave、推理优化,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「CoreWeave」(@CoreWeave),经 AITOP 多维评分管线结构化提炼。