论文73°
Google 论文：Serverless CPU 上量化 LLM 冷启动 55-70% 延迟来自模型加载
精选理由
Google 这篇论文拆了 serverless CPU 跑量化小模型的延迟构成，55-70% 耗在加载权重，加内存到 8 GB 就能让推理快近一倍，部署前值得看。
Google 的一项研究针对跑在 serverless CPU 上的小型量化 LLM，发现冷启动延迟中有 55-70% 来自模型加载。这意味着瓶颈主要在把模型权重搬进内存，而不是生成 token 的推理过程本身。论文还给出一个具体对照：把同一模型在 Cloud Run 上的内存从 4 GB 提到 8 GB，可用 CPU 翻倍，warm 推理时间接近减半。对在 CPU 上部署小模型的开发者来说，内存和加载策略比推理优化更值得先动手。
原文 · rohanpaul_ai
New Google paper shows for small quantized LLMs on serverless CPUs, 55–70% of cold-start latency is just model loading. i.e. the bottleneck is often moving model weights, not generating tokens.
The inference itself is less of the problem than getting the model into memory.
Giving the same model 8 GB of Cloud Run memory instead of 4 GB unlocks roughly 2× the CPU, cutting warm inference time almost in half.
