产品官方一手

Hugging Face 推出 TorchNeuron 集成,HF 模型可更方便地跑在 AWS Trainium 上

TorchNeuron: running HF models on AWS Trainium is easier than ever

精选理由

Hugging Face 和 AWS 合作,transformers 里的模型现在能直接跑在 Trainium 芯片上,代码基本不用改,想在 AWS 上省 GPU 成本的可以看看。

Hugging Face 发布了与 AWS TorchNeuron 的集成支持,transformers 生态中的模型可以直接在 Trainium 加速芯片上运行。用户通过 Optimum-Neuron 工具链完成模型的编译与部署,无需改写 PyTorch 代码。该集成覆盖 Trainium1 与 Trainium2 实例,降低了用 HF 模型做训练和推理时迁移到 AWS 自研芯片的门槛。

图片来源 · Hugging Face: Blog