蚂蚁集团与 vLLM 开源 Humming 量化推理内核库，支持 Zhenwu 810E
蚂蚁和 vLLM 社区开源了量化推理内核库 Humming，支持 INT1-8 和 FP4-FP8，还能直接跑在平头哥 Zhenwu 810E 上，做推理部署的可以看看。
#Humming
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Humming」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月21日
蚂蚁和 vLLM 社区开源了量化推理内核库 Humming，支持 INT1-8 和 FP4-FP8，还能直接跑在平头哥 Zhenwu 810E 上，做推理部署的可以看看。