大模型直接改写小模型权重:神经网络版基因编辑
有人提出用大 LLM 直接改小模型的权重来提升能力,作者说比蒸馏还管用,思路挺新颖,不过推文没放任何数据,看看就好。
这条推文介绍一种让大 LLM 直接编辑小模型权重的方法,据称能大幅提升小模型能力。作者 Yuchen 把这种做法比作神经网络的基因编辑,并认为它比蒸馏更酷。推文未给出具体模型名、数据集或基准成绩,属于对方法思路的定性描述。
This is cool as heck!
Imagine using a large LLM to directly edit a smaller model's weights and dramatically improve its capabilities.
It's like gene editing for neural networks. Even cooler than distillation!