#DeepSeek-V2-Lite

共 9 条 · 7 天 1 条 · 30 天 4 条

MoE 4 推理优化 4 Mixtral-8x7B 2 Qwen3-30B-A3B 2 CPU-GPU编排 1 InferOpt 1 KV缓存量化 1 MaskCoFT 1

信息流里打上「DeepSeek-V2-Lite」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月16日

论文 Agent 与开发者09:27

RoLaQ：面向 2-bit KV 缓存的旋转与范围联合校准方法

论文提出 RoLaQ，让 MLA 模型的 KV 缓存压到 2-bit，在 DeepSeek-V2-Lite 上吞吐提升 2.51 倍，做长上下文推理的可以看看。

#RoLaQ #DeepSeek-V2-Lite #KV缓存量化 #MLA

arXiv: DeepSeek@Shiyu Ji 等 7 人原文

10月6日

论文 Agent 与开发者09:28

InferOpt：把 LLM 推理配置搜索化为约束多目标优化

一篇教你怎么调推理配置的论文，Qwen 和 DeepSeek 两个空间上省缓存、降延迟都有具体数字，做推理优化的可以看看。

#InferOpt #Qwen2.5-7B #DeepSeek-V2-Lite #推理优化

arXiv: DeepSeek@Qi Chen 等 6 人原文

10月2日

论文 Agent 与开发者09:57

MoRA：通过路由器偏置学习和专家近似进行MoE剪枝

MoRA解决了MoE模型部署内存问题，通过路由偏置学习和专家近似机制，在减少专家数量的同时保持模型性能。

#MoRA #MoE #Qwen3-30B-A3B #DeepSeek-V2-Lite

arXiv: DeepSeek@Yushuai Sun 等 5 人原文

9月29日

论文 Agent 与开发者13:35

MaskCoFT：掩码协同微调降低 MoE 推理显存开销

跑 MoE 显存不够的人可以看看：微调路由加专家，Mixtral-8x7B 每层只缓存 4 个专家，取回次数降了 23.7%，速度更快精度还涨。

#MaskCoFT #Mixtral-8x7B #DeepSeek-V2-Lite #MoE

arXiv: DeepSeek@Junfeng Wu 等 6 人原文

9月15日

模型 Agent 与开发者精选13:06

物理分区KV缓存格式实现CPU-GPU负载均衡

DeepSeek和智谱AI团队的新方法，通过优化KV缓存布局，让CPU和GPU能更高效地分担负载，提升长文本处理速度。

#DeepSeek-V2-Lite #Qwen3-30B-A3B #Mixtral-8x7B #MoE

arXiv: DeepSeek@Enda Yu 等 3 人原文

8月28日

论文精选73°18:45

MoE模型中三种推理优化为何失效

论文揭示了MoE模型中三种推理优化为何实际效果不佳，对模型部署有重要参考价值。

#Mixture-of-Experts #OLMoE-1B-7B #DeepSeek-V2-Lite #推理优化

arXiv: DeepSeek@Gokulakannan Sakthivel 等 4 人原文

8月24日

模型精选10:45

SPICE: MoE推理加速的推测预取框架

SPICE框架结合轻量级预测和编排，显著提升MoE推理速度，值得研究。

#MoE推理加速 #轻量级预测 #CPU-GPU编排 #DeepSeek-V2-Lite

arXiv: DeepSeek@Yongxiang Lyu 等 3 人原文

8月11日

论文精选10:47

MoE路由新研究：解耦专家调度与聚合可提升性能

这篇论文用OLMoE和DeepSeek-V2-Lite实测证明，MoE路由的选专家和加权输出不该共用一套分数，FDAA方法能白捡性能提升，做MoE优化的值得看。

#MoE #OLMoE #DeepSeek-V2-Lite #稀疏专家模型

arXiv: DeepSeek@Zongfei Li原文

7月3日

论文精选09:48

Load-aware prefill deflection reduces P95 TTFT by 81% in disaggregated LLM serving

这篇论文讲了个很实在的优化：让空闲的解码节点分担预填充活儿，不用等KV传输，TTFT降了81%

#Disaggregated LLM serving #prefill deflection #vLLM #DeepSeek-V2-Lite

arXiv: DeepSeek@Shrikara Arun 等 5 人原文