01:47
elvis@omarsar0
elvis@omarsar078°
推荐理由：斯坦福新方法让长推理模型提速3倍，内存不再随思考长度增长。
Prefix Sliding
共 3 条相关 AI 资讯
8月31日
01:47
斯坦福大学研究人员提出Prefix Sliding方法，通过丢弃中间token实现推理过程内存固定。该方法在无需训练的情况下，使现有模型运行速度提升3倍，同时保持全注意力性能。该方法支持超过10万token的RL rollout，解决了长推理过程中的内存消耗问题。
8月28日
00:09
00:09
Stanford AI Lab@StanfordAILab
Stanford AI Lab@StanfordAILab精选
推荐理由：斯坦福大学AI实验室提出Prefix Sliding，优化长任务中全注意力机制的效率，值得一读。
8月27日
10:31
10:31
官方账号arXiv cs.AI@Niklas Muennighoff, Zhengyang Wang, Zeyi Chen, Weijia Shi, Binyuan Hui, John Yang, Dapeng Jiang, Mika Senghaas, Fares Obeid, Johannes Hagemann, Sami Jaghouar, Ludwig Schmidt, Percy Liang, Jason Wei, Andrew Y. Ng, Luke Zettlemoyer, Yejin Choi, Mike Lewis
推荐理由：Prefix Sliding 提升模型推理速度，无需额外训练，开源代码可查。与总结中间token或普通滑动窗口相比，效果更佳。