#BF16

共 2 条 · 7 天 0 条 · 30 天 1 条

FP16 1 FP8 1 LLM推理 1 NVIDIA Transformer Engine 1 PyTorch 1 数值精度 1 混合精度 1 论文 1

信息流里打上「BF16」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月23日

论文 Agent 与开发者精选71°10:01

研究发现 LLM 推理输出随数值精度变化：BF16 与 FP16 会产生不同结果

一篇挺有意思的论文：同样的模型和提示，BF16 和 FP16 居然输出不一样，作者还给出了低于 4% 延迟开销的修复方法。

#LLM推理 #数值精度 #FP16 #BF16

arXiv cs.LG@Gaoyuan Du 等 7 人原文

8月2日

技巧 Agent 与开发者官方一手78°02:35

用NVIDIA Transformer Engine加速Transformer训练：融合内核与FP8实操指南

想让你自己训练的Transformer跑得更快？这篇手把手教你用NVIDIA Transformer Engine和FP8，还有代码和GPU跑分对比。

#NVIDIA Transformer Engine #PyTorch #FP8 #BF16

官方一手marktechpost@Sana Hassan原文