#语言模型
共 86 条 · 7 天 6 条 · 30 天 25 条
5月13日
Attractor Models:通过不动点求解让循环Transformer可扩展
循环Transformer训练难、部署贵的问题被Attractor Models用不动点求解优雅解决,做语言模型预训练或推理增强的团队值得关注——它用更少参数和成本实现了对更大模型的超越。
5月11日
论文11:45
语言模型中的潜在规划:轻量级因果干预揭示未来押韵编码该工作揭示了不同语言模型在规划能力上的根本差异:仅部分模型(如Gemma-3-27B)真正依赖内部的前瞻性计划,而其他模型则依赖逐词条件。这对理解模型内部机制和未来设计更可控的生成系统有参考价值。
arXiv cs.AI原文