#OPT-125M

训练时优化器状态比权重还占显存，这篇论文给出一种带数学保证的压缩法，能把 payload 压到 FP32 的三成左右，恢复更新也不跑偏。