#NanoGPT

训练 LLM 显存吃紧的可以看看：BitSparse 靠 ReLU 稀疏性无损压缩激活缓存，NanoGPT 和 Nemotron-H 上实测省三成显存，几乎不拖慢速度。

Deep学习又发现新现象'分叉'，比Grokking和Double Descent还奇怪，AutoResearch agents的技巧可能带来意外副作用。