评论者谈模型蒸馏:不反对蒸馏,但担忧 Claude 风格渗透国产模型
一条挺有态度的观点:作者支持蒸馏 DeepSeek 等模型学 Claude,但担心国产模型会失去自己的个性,评论区常吵这个话题。
一位评论者在 X 上表态,对模型蒸馏没有道德层面的反对,认为在算力和数据到位之前,蒸馏是合理的拐杖。文中提到 Anthropic CEO Dario,称鉴于其目标,被蒸馏是应得的。作者同时担忧蒸馏会阻碍中国模型自身风格的发展,Claude 的痕迹将难以清除。
I have no moral objection to distillation. Indeed, given Dario's aims, he should be robbed in every way possible. And it's a neat crutch before compute+data come in. I am saddened at how it stunts the development of Chinese model personas. Claudeceps will be hard to root out.