#D3Tree

投机解码在高并发下常被草稿树拖慢，这篇论文给出一个只学 2H+2 个参数的小头来判断哪些节点值得验证，64 路并发还能比自回归快 1.3-1.8 倍。做推理服务、部署块扩散模型的人应该看看，72 个负载设置里 70 个拿了最快。