模型

Liquid AI 发布 LFM3 模型家族,六款模型基于 LFM3-1.7B-Base

Liquid AI 发布 LFM3 模型家族,首批多款均基于 LFM3-1.7B-Base

精选理由

Liquid AI 一次发了六款小模型,全部从一个 1.7B 底座衍生,文本、视觉、音频、决策全覆盖,1.7B 还比上代 2.6B 更强,参数少 35%。

Liquid AI 于当地时间 10 月 27 日发布 LFM3 模型家族,采用三混合层架构,在 22T 词元上完成预训练。首批产品包括 LFM-1.7B(文本)、LFM3-VL-2B(视觉)、d1-2B(决策)、LFM3-Audio(音频)、LFM3-Omni-2B(全能)和 d1-Omni-2B(全能决策),全部基于 LFM3-1.7B-Base。其中 LFM-1.7B 拥有 256K 上下文窗口,参数量比上代 LFM2.5-2.6B 减少 35%,性能反超。

原文 · IT之家

Liquid AI 发布 LFM3 模型家族,首批多款均基于 LFM3-1.7B-Base

IT之家 10 月 28 日消息,人工智能实验室 Liquid AI 当地时间 27 日发布了 LFM3 模型家族。其基于全新的三混合层架构,在 22T 词元上预训练而成, 在保持高效的同时具备更为出色的表现 。 LFM3 的首批产品包括 LFM-1.7B(文本)、LFM3-VL-2B(视觉)、d1-2B(决策)、LFM3-Audio(音频)、LFM3-Omni-2B(全能)、d1-Omni-2B(全能决策),这些模型均基于 LFM3-1.7B-Base。 Liquid AI 表示,LFM-1.7B 拥有 256K 上下文窗口,其 在使用的参数减少 35% 的同时性能优于上代的 LFM2.5-2.6B 。 参考 https://www.liquid.ai/blog/lfm3