#GaLore

研究团队发现 GaLore 这类低秩优化器做 2 bit 量化训练会掉点，于是提出 ResQAdam，优化器显存省七成多，速度几乎不掉。