技巧精选
vLLM 的 KV Cache 卸载机制：CPU 与共享存储怎么选
精选理由
vLLM 显存爆了怎么办？这场海报讲解 KV cache 卸载到 CPU 还是共享存储更划算，跑推理服务的朋友可以去听。
vLLM 在 GPU 显存不足时会把 KV cache 卸载到 CPU 或共享存储，_llm_d_ 负责追踪每个 cache block 的位置，并把请求路由到对应缓存。Moreh 的 Bongwoo Bak 在 PyTorch Conference North America（10 月 20-21 日，San Jose）带来海报演讲 "Where the Blocks Live"，讲解什么场景用 CPU 卸载就够，什么场景值得上共享存储。
原文 · PyTorch
When GPU memory fills up, @vllm_project offloads the KV cache to CPU or storage. @_llm_d_ tracks where every block lives, and sends each request to its cache. At PyTorch Conference North America, Bongwoo Bak from Moreh will present a poster on "Where the Blocks Live." You'll see when CPU is enough and when shared storage pays off.
Join us at #PyTorchCon in San Jose, October 20-21: https://t.co/jBApW8ocHQ
