ReCR:训练无关的自回归视频解码上下文重写方法
做视频生成或自回归模型的可以看看这篇:ReCR 不用训练,靠挑选历史上下文就能提升长视频生成的稳定性。
做视频生成或自回归模型的可以看看这篇:ReCR 不用训练,靠挑选历史上下文就能提升长视频生成的稳定性。
一块消费级 GPU 就能从零训个葡萄牙语小模型,还附代码包和评测协议,想动手训 SLM 的可以直接照着跑。
有人拿"模型会喊 oops 然后改错"这个训练行为,去质疑 LeCun 那套自回归不能纠错的老论点,争议点很具体。
Yann LeCun(深度学习领域权威)重申观点,说当前 LLM 无法实现人类水平 AI,理由很具体,比如推理能力在 token 空间中实现是有限的,自改进方法只适用于特定领域,跨模态能力通常用单独训练的编码器,还有家用机器人或 L4/L5 自动驾驶汽车这些例子,和现在的情况对比很清晰。
LeCun 发推澄清:别把代码生成器和纯 LLM 自回归划等号,观点直接,适合关注大模型技术路线的人。
这篇论文用实验告诉你,深的世界模型在滚动预测时不一定管用——在DeepMind Control的9个任务里,有2个反而是早退浅层更好,而且原因竟然出在训练方式上。搞模型规划的值得看看。
时间序列预测的长期误差累积是实际应用中的痛点,做时序预测的团队可以直接用UEC-STD提升现有模型性能,无需重新训练,值得一试。