蚂蚁集团与 vLLM 开源 Humming 量化推理内核库，支持 Zhenwu 810E
Ant Group and vLLM Open-Source Humming, Quantized Inference Kernels With Zhenwu 810E Support
精选理由
蚂蚁和 vLLM 社区开源了量化推理内核库 Humming，支持 INT1-8 和 FP4-FP8，还能直接跑在平头哥 Zhenwu 810E 上，做推理部署的可以看看。
蚂蚁集团与 vLLM 社区联合开源了 Humming，一个面向量化推理的 JIT GEMM 内核库。它覆盖 INT1 到 INT8 以及 FP4 到 FP8 的量化格式组合。Humming 完整支持平头哥（T-Head）的 Zhenwu 810E 芯片。该项目旨在提升量化模型在推理阶段的算子执行效率。
原文 · pandaily
Ant Group and vLLM Open-Source Humming, Quantized Inference Kernels With Zhenwu 810E Support
Ant Group and the vLLM community open-sourced Humming, a JIT GEMM kernel library for quantized inference. It covers INT1-8 and FP4-FP8 mixes and fully supports T-Head's Zhenwu 810E.
