#低延迟推理

Decagon 做客服智能体的工程师要讲 post-training、RL 和低延迟推理，还要聊怎么把系统扩到 1T 参数，做推理优化的可以看看。

官方账号LMSYS Org (SGLang)@lmsysorg原文

FlashRT用执行状态胶囊实现了亚毫秒级恢复，比传统KV缓存多保存循环状态，对交互式AI和机器人很关键。