百度开源 ERNIE 5.5 Flash Base：2800 亿参数底座模型，支持 100 万 token 上下文
百度开源了个 2800 亿参数的底座模型，激活只 5%，还支持 100 万 token 上下文，想自己微调行业模型可以看看。
百度开源了文心 ERNIE 5.5 Flash Base，一个供开发者继续训练的底座模型，可用来打造行业专属模型。模型从零预训练 2800 亿参数，运行时只激活约 140 亿（5%），支持 100 万 token 上下文。技术上它把 43 层 KV 缓存分成两组：37 层读压缩后的全局内容，6 层回原文定位细节；MoE 每次从 512 个专家中挑 10 个，改由多个路由共同打分；还让最后一层直接复用来做多步预测和候选内容验证。
百度带来一款全新的开源模型 文心 ERNIE 5.5 Flash Base 这是一个供开发者继续训练的 AI 底座模型，开发者可以在它上面继续训练，打造自己或者行业专属 AI 模型 特点是知识面广、能处理长内容，同时节省计算资源 从零开始预训练 2800 亿参数 运行时只激活约 140 亿（5%） 支持 100 万 token 上下文 它的价值是：提供了一个可以继续定制的起点：加入行业知识、适配本地语言，再结合后续训练和产品开发，就能做成适合自己业务的 AI 创新点 1. 长文用两种方式读：ERNIE 5.5 Flash Base把上下文的 KV 缓存 43 层分成两组：37 层看压缩后的内容，保留全局信息；另外 6 层可以回到原文，挑出相关的位置仔细看。这样既省缓存，又能找长文里的具体细节 2. 选专家，从一个人拍板变成多人打分：每次还是从 512 个专家里挑 10 个，变化在于由多个“派单员”共同打分。专家的计算量一样，但选出来的专家更能帮上忙 3. 让最后一层多练一步：模型训练时，除了猜紧接着会出现什么，还可以练习猜再往后的内容，以往会专门加一个模块做这件事，ERNIE 5.5 Flash Base直接复用最后一层。到了实际生成时，这一层还能先拟出候选内容，再交给模型验证 💬 2 🔄 0 ❤️ 0 👀 838 📊 2 ⚡
