技巧精选
PyTorch 大会将分享在 ARM CPU 上优化 MoE 模型推理的方法
精选理由
Fujitsu 的工程师要在 PyTorch 大会讲怎么用 vLLM 和 OpenVINO 在 ARM CPU 上跑 MoE 模型，做端侧部署的可以关注。
在 10 月 20-21 日圣何塞举办的 PyTorch Conference North America 上，Fujitsu Research India 的 Maajid Khan 将做关于 MoE LLM 推理优化的演讲。内容聚焦 ARM CPU 架构，使用 vLLM 和 OpenVINO 两个推理框架。演讲将分享在 ARM 上高效运行 MoE 模型的实用策略。
原文 · PyTorch
Interested in optimizing Mixture of Experts LLM inference on ARM CPUs?
In his talk at PyTorch Conference North America, Maajid Khan from Fujistu Research India will explore efficient MoE LLM inference using vLLM and OpenVINO, sharing practical strategies for running these models effectively on ARM architectures.
Register and join us in San Jose, October 20-21: https://t.co/jBApW8nESi
#PyTorchCon
