#Cloud Run

共 1 条 · 7 天 1 条 · 30 天 1 条

Google 1 LLM推理 1 serverless 1 量化 1

信息流里打上「Cloud Run」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月25日

论文 Agent 与开发者73°00:43

Google 论文：Serverless CPU 上量化 LLM 冷启动 55-70% 延迟来自模型加载

Google 这篇论文拆了 serverless CPU 跑量化小模型的延迟构成，55-70% 耗在加载权重，加内存到 8 GB 就能让推理快近一倍，部署前值得看。

#Google #量化 #LLM推理 #serverless

rohanpaul_ai@rohanpaul_ai原文