Meta与纽约大学研究：视觉编码器可与语言模型从零联合训练
做视觉多模态模型的朋友可以看看这项Meta和NYU的研究：视觉编码器跟着主模型从零训，省算力，独立参数嵌进前八层，1.7B模型首字延迟从64毫秒降到37毫秒。想简化训练管线的团队用得上。
Meta与纽约大学的研究提出一种视觉多模态模型设计方法：视觉编码器无需预先单独训练，直接与主模型从零联合训练，看图问答准确率与先单独训练的版本相当，同时节省大量算力。
关键技术点是必须保留视觉专属的独立参数。如果删除视觉部件、让图片与文字共用全部参数，看图能力会明显下降，需要约3倍算力才能追平。视觉独立模块的最佳位置是语言模型的前八层内部，此时识别文字与图表的效果与外挂编码器打平；放到中后层则会拖累性能。
这种嵌入式设计省去了图片在外挂编码器中排队处理的环节。1.7B规模的模型在H200显卡上，看图输出的首字响应时间从64毫秒缩短到37毫秒。对做多模态模型的团队来说，这意味着可以简化训练流程并降低延迟。
AI视觉模型的核心设计
来自Meta和纽约大学的研究，做视觉多模态模型的可以参考。核心结论：
1）视觉编码器不用提前单独训练：跟着主模型从零一起训练，最终看图问答的准确率完全不输预先单独训练的版本，而且能省下大笔算力预算。
2）必须保留专门处理图像的独立参数：如果直接删掉视觉部件、让图片和文字共用参数，看图能力会大幅掉队，需要多花3倍算力才能追平。
3）视觉专属参数放进主模型前八层最有效：把视觉独立模块直接嵌进语言模型的前八层内部，不仅识别文字和图表的效果与外挂编码器打平。放进中后层则会拖后腿。
4）嵌入式设计让AI看图出字更快：省去了图片在外挂模块排队处理的环节，1.7B规模的模型在H200显卡上的首字响应时间从64毫秒缩短到37毫秒，反应更快。
项目地址：https://t.co/V00H6W4XUF
本条情报归属 AITOP「论文」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：Meta、NYU、视觉编码器、多模态，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「Gorden Sun」（@Gorden_Sun），经 AITOP 多维评分管线结构化提炼。
