模型

vLLM v0.32.0 支持 MiniCPM-V 4.7 推理部署

精选理由

OpenBMB 的 MiniCPM-V 4.7 进了 vLLM v0.32.0,自己搭服务的可以直接用 vLLM 跑它了,吞吐延迟都更好。

OpenBMB 宣布 MiniCPM-V 4.7 已获 vLLM v0.32.0 官方支持。开发者可以直接用 vLLM 部署该多模态模型,获得高吞吐、低延迟的推理服务。官方感谢 vLLM 团队为此提供的适配工作。

原文 · OpenBMB

🚀 MiniCPM-V 4.7 is now supported in vLLM v0.32.0! Thanks @vllm_project for the support. This makes it easier to serve MiniCPM-V 4.7 with high throughput and low latency.