传闻流出:14T参数MoE模型Mythos的NVFP4评估片段现身Hugging Face
精选理由
有人发了个模型片段,疑似14T参数的Mythos,1224个专家激活49个,去Hugging Face看看真假。
有传闻称Hugging Face上出现的模型片段是Mythos级别的模型,为评估用途打包成NVFP4格式。如果传闻属实,Mythos总参数规模达14T,采用MoE架构,共有1224个专家,每次推理激活其中49个。相关片段已可在Hugging Face上查看。
原文 · Gorden Sun
传闻是Mythos级别的模型片段,用于评估的NVFP4版本。如果为真,Mythos是14T参数规模的模型,1224个专家,49个激活专家。
Huggingface:https://t.co/zyLzO3wFIf https://t.co/tzIkFDeOut