Meta与纽约大学研究:视觉编码器可与语言模型从零联合训练
做视觉多模态模型的朋友可以看看这项Meta和NYU的研究:视觉编码器跟着主模型从零训,省算力,独立参数嵌进前八层,1.7B模型首字延迟从64毫秒降到37毫秒。想简化训练管线的团队用得上。
做视觉多模态模型的朋友可以看看这项Meta和NYU的研究:视觉编码器跟着主模型从零训,省算力,独立参数嵌进前八层,1.7B模型首字延迟从64毫秒降到37毫秒。想简化训练管线的团队用得上。
做视觉模型的开发者该看看这篇。它用统一数据和算力做对照实验,证明从头联合训练编码器不输预训练方案,视觉模块放进骨干前几层还能降低首 token 延迟,能直接指导你砍掉一条训练管线。
做视觉应用经常直接下开源编码器微调的朋友该看看。这篇论文证明被污染的编码器即使微调后后门也能存活,防御手段基本失效,最高 97% 攻击成功率,比已有的微调激活攻击适用面更广。
这篇论文揭示了视觉编码器如何存储物体概念信息,即使在没有颜色的情况下也能识别物体的标准颜色。
ClinFusion用新架构统一2D/3D医学图像,在20/24基准上碾压Hulu-Med、Lingshu,甚至超GPT-5.2。医生盲评说它报告最好,值得关注。