AITOPAI热报

Dense

general · 首次出现 2026-05-22 · 最近出现 2026-10-23 · 累计提及 117

综述

Dense（稠密）在 AI 领域通常有两层含义：一是指稠密模型（Dense Model），即所有参数在每次前向计算中都参与激活的神经网络架构，与 MoE（混合专家）等稀疏架构相对；二是指稠密检索（Dense Retrieval），即用向量嵌入做语义匹配的搜索方式。随着端侧大模型和 RAG 应用的发展，稠密与稀疏路线的取舍正成为模型设计和检索系统两个方向的共同焦点。

Dense 架构与 MoE 的端侧之争

  • 华为麒麟 9050 系列实现业界首个 30B MoE 大模型入端：华为在手机芯片上首次跑通 30B 规模的 MoE 模型，这对传统 Dense 架构在端侧的部署构成了直接挑战——MoE 凭借稀疏激活在同等算力下可承载更大总参数量，但 Dense 模型结构简单、推理延迟可预测的优势依然明显，两者在端侧的竞争值得持续观察。
  • 观点：DeepSeek V4.1 训练复杂度更高但信息流更简洁：社区观点认为新一代大模型在架构上的取舍更趋精细，稀疏化带来的训练复杂度上升与信息流简化之间的权衡，也是评估 Dense 与 MoE 路线时不可回避的问题。

    • Dense Retrieval 的工程化进展

  • Haystack 3.0 发布，Qdrant 原生集成密集/稀疏/混合检索：Haystack 3.0 与向量数据库 Qdrant 的原生集成支持密集、稀疏与混合三种检索模式，反映出 RAG 领域的一个共识：Dense 检索擅长语义泛化，稀疏检索（如 BM25）擅长精确关键词匹配，混合方案在实际生产中往往更稳。
  • Qwen3.8-27B发布：单GPU跑1M上下文，vLLM Day-0支持：超长上下文能力的普及正在改变 Dense 检索的角色定位——部分此前依赖检索的场景，开始被“直接塞进上下文”的方式部分替代，但成本与延迟仍使向量检索在多数生产环境中不可替代。

    • 当前焦点与观察点

    目前围绕 Dense 的讨论主要集中在三个层面。其一是架构层面：在端侧算力受限的设备上，Dense 模型的确定性优势能否抵消 MoE 的容量优势，麒麟 9050 的落地会给出首批真实数据。其二是检索层面：Dense 与稀疏、混合检索的边界划分趋于成熟，工程重点转向精度与成本的平衡。其三是生态层面：随着 Qwen、开源代理编码模型等中小模型在单 GPU 上表现出色，为 Dense 小模型做专项优化（类似 NVIDIA LoGRA 这类低显存后训练方法）正在成为活跃的研究方向。对从业者的建议是：不必把 Dense 与稀疏视为非此即彼的选择，在模型选型和检索管线上，两者按场景组合使用已是主流实践。

    相关报道

    10 条在档