Prefix Sliding for efficient test-time scaling

Prefix Sliding 提出在推理过程中丢弃非前缀或最后几千个token的token，以减少内存需求，提高测试时间扩展效率。无需训练，Prefix Sliding 可使现有模型速度提升3倍，训练后使用强化学习可进一步提升性能。代码开源于GitHub。