产品官方一手
亚马逊推出前缀感知路由减少 SageMaker 中的 LLM 延迟
Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference
精选理由
亚马逊这个新功能能帮你更快地得到 LLM 的回答，特别是处理大量相似问题的时候，比之前的方法效率高很多。
亚马逊 SageMaker Inference 新增前缀感知路由功能，将相同提示前缀的请求发送到同一实例以保持 KV 缓存活跃。在 Llama 3.1 70B 模型上测试，P50 首个 token 响应时间最多减少 77%，KV 缓存命中率从约 25% 提升至 80% 以上。
原文 · AWS Machine Learning Blog
Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference
Amazon SageMaker Inference now offers prefix-aware routing, a routing strategy that sends requests sharing the same prompt prefix to the same instance so the KV cache stays warm. In benchmarks on Llama 3.1 70B, it reduced P50 time-to-first-token by up to 77% and raised KV cache hit rates from about 25% to over 80%.