#稀疏化

清华团队提出GroupMask，让大模型剪枝各层稀疏度自适应，比固定模式效果更好，代码已开源。

用形式推导预训练，能在语言任务上少花36B token达标，剪枝33%还不掉点。做预训练或模型压缩的可以看看。