#Δ-MOPD

共 1 条 · 7 天 1 条 · 30 天 1 条

在线蒸馏 1 开源模型 1 知识蒸馏 1

信息流里打上「Δ-MOPD」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月8日

论文 Agent 与开发者11:15

Δ-MOPD：以教师相对偏移改进多教师在线蒸馏

蒸馏时直接抄老师的最终输出会混进老师基座的偏好，这篇论文改用老师训练前后的偏移量，三个老师组合下 Math 高了 4 分多，做模型蒸馏的可以看看。

#知识蒸馏 #Δ-MOPD #在线蒸馏 #开源模型

arXiv cs.AI@Hejian Sang 等 6 人原文