AMTP：自适应多 token 预测让 Llama-3.1 解码提速至 4.1 倍
arXiv 上这篇论文给 MTP 解码加了个轻量控制器，不用重训练就能自动选草稿长度，Llama-3.1 上最高跑出 4.1 倍解码速度，做推理优化的可以看看。
#AMTP
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「AMTP」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月21日
arXiv 上这篇论文给 MTP 解码加了个轻量控制器，不用重训练就能自动选草稿长度，Llama-3.1 上最高跑出 4.1 倍解码速度，做推理优化的可以看看。