行业精选73°

传 DeepSeek Pro 训练因缺少多模态 token 出现模型坍塌

> It's not multimodal, as DeepSeek experienced …

精选理由

有人爆料 DeepSeek 上次 Pro 训练崩了,锅可能是缺多模态数据,官方还没证实,看看怎么说。

一条 X 帖子称 DeepSeek 并非多模态模型,原因是上次 Pro 训练中出现了 model collapse,归因于训练数据中缺少多模态 token。

正文

发帖人认为这一诊断若属实,说明 DeepSeek 可以从更早的 checkpoint 恢复训练,补上多模态数据后仍有提升空间。目前该说法未获 DeepSeek 官方确认。

原文 · Teortaxes

> It's not multimodal, as DeepSeek experienced …

> It's not multimodal, as DeepSeek experienced model collapse during the last "Pro" training run, which was attributed to a lack of mm tokens devastating if true That said, if the diagnosis is correct, they can resume from earlier checkpoint, and this suggests it has room to grow

产业坐标与信源核验

本条情报归属 AITOP「行业」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:DeepSeek、多模态、模型训练,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Teortaxes」(@teortaxesTex),经 AITOP 多维评分管线结构化提炼。