#Mixtral-8x7B

共 2 条 · 7 天 0 条 · 30 天 1 条

DeepSeek-V2-Lite 2 MoE 2 MaskCoFT 1 Qwen3-30B-A3B 1 推理优化 1 长上下文 1

信息流里打上「Mixtral-8x7B」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月29日

论文 Agent 与开发者13:35

MaskCoFT：掩码协同微调降低 MoE 推理显存开销

跑 MoE 显存不够的人可以看看：微调路由加专家，Mixtral-8x7B 每层只缓存 4 个专家，取回次数降了 23.7%，速度更快精度还涨。

#MaskCoFT #Mixtral-8x7B #DeepSeek-V2-Lite #MoE

arXiv: DeepSeek@Junfeng Wu 等 6 人原文

9月15日

模型 Agent 与开发者精选13:06

物理分区KV缓存格式实现CPU-GPU负载均衡

DeepSeek和智谱AI团队的新方法，通过优化KV缓存布局，让CPU和GPU能更高效地分担负载，提升长文本处理速度。

#DeepSeek-V2-Lite #Qwen3-30B-A3B #Mixtral-8x7B #MoE

arXiv: DeepSeek@Enda Yu 等 3 人原文