OpenRouter 上架采用 Hybrid Mamba-Transformer MoE 架构的多标记预测模型
OpenRouter 上了个新模型,Mamba 和 Transformer 混合架构加多标记预测,输出更快,主攻文档处理和视频理解这几类活儿。
OpenRouter 发布消息介绍一款混合 Mamba-Transformer MoE 架构的模型,采用 multi-token prediction 技术来加快输出速度。该模型面向四类场景:文档智能、网页研究、客服和视频理解。架构上混合了 Mamba 与 Transformer 两种结构,并以 MoE 方式组织参数。
Hybrid Mamba-Transformer MoE with multi-token prediction for faster output. Built for document intelligence, web research, customer service, and video understanding. 💬 1 🔄 0 ❤️ 3 👀 1245 📊 1 ⚡