TokenGate:可学习的 token 剪枝让长上下文预填充更快更省显存
一篇很实用的推理优化论文:给 Qwen3 加个小模块做 token 剪枝,TTFT 最快快 11 倍,代码开源可以直接试。
一篇很实用的推理优化论文:给 Qwen3 加个小模块做 token 剪枝,TTFT 最快快 11 倍,代码开源可以直接试。
论文教你怎么用解码器雅可比给 ViT 特征空间算真正的任务几何,剪掉一半 token 还能让深度误差少涨 25%,做高效推理的可以看看。
VPRune 不用训练就能剪掉 LVLM 的视觉 token,FastVLM-1.5B 上高压缩率也掉点少,做端侧部署可以看看。