AMD 在 PyTorchCon 展示 LLaDA-8B 扩散语言模型 NPU 端侧推理
AMD 把扩散语言模型 LLaDA-8B 跑进了 NPU，比 CPU INT4 快 1.67 倍、省电 8.9 倍，做端侧推理的可以看看他们的量化与图切分细节。
#LLaDA-8B
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「LLaDA-8B」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月19日
AMD 把扩散语言模型 LLaDA-8B 跑进了 NPU，比 CPU INT4 快 1.67 倍、省电 8.9 倍，做端侧推理的可以看看他们的量化与图切分细节。
