技巧精选

PyTorch 大会将分享在 ARM CPU 上优化 MoE 模型推理的方法

精选理由

Fujitsu 的工程师要在 PyTorch 大会讲怎么用 vLLM 和 OpenVINO 在 ARM CPU 上跑 MoE 模型,做端侧部署的可以关注。

在 10 月 20-21 日圣何塞举办的 PyTorch Conference North America 上,Fujitsu Research India 的 Maajid Khan 将做关于 MoE LLM 推理优化的演讲。

正文

内容聚焦 ARM CPU 架构,使用 vLLM 和 OpenVINO 两个推理框架。演讲将分享在 ARM 上高效运行 MoE 模型的实用策略。

原文 · PyTorch

Interested in optimizing Mixture of Experts LLM inference on ARM CPUs?

In his talk at PyTorch Conference North America, Maajid Khan from Fujistu Research India will explore efficient MoE LLM inference using vLLM and OpenVINO, sharing practical strategies for running these models effectively on ARM architectures.

Register and join us in San Jose, October 20-21: https://t.co/jBApW8nESi

#PyTorchCon

产业坐标与信源核验

本条情报归属 AITOP「技巧」核心追踪栏目。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:vLLM、OpenVINO、MoE、ARM CPU,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「PyTorch」(@PyTorch),经 AITOP 多维评分管线结构化提炼。