FUTRANSFORMER：Hopper GPU 上的 FP8 prefill 与 INT4 decode 推理实现
一篇把 Llama 推理在 H100 上抠到极致的 CUDA 论文，decode 比 PyTorch 快最多 2.4 倍，做推理优化的值得看代码思路。
#INT4量化
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「INT4量化」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月19日
一篇把 Llama 推理在 H100 上抠到极致的 CUDA 论文，decode 比 PyTorch 快最多 2.4 倍，做推理优化的值得看代码思路。