论文精选
LMSYS 发布 miniTE：BF16 训练更新提速 1.33–1.37 倍
精选理由
LMSYS 的 miniTE 在 8 张 B300 上把 BF16 训练更新提速 1.33 倍以上，还教你怎么定位量化引入的 mismatch，自己搞训练的可以看看。
LMSYS 推出 miniTE，一个低精度训练框架，在 8×B300 上将 BF16 learner update 速度提升 1.33–1.37 倍。框架能从量化环节到 token 概率逐层诊断训练与采样之间的 mismatch。通过 TRIAGE 机制控制高风险参数更新，并用 grouped GEMM、连续缓冲区和算子融合降低 NVFP4 计算开销。
原文 · LMSYS Org (SGLang)
🚀 miniTE: 1.33–1.37× BF16 speed for learner updates on 8×B300.
https://t.co/dtubR6cJmF’s miniTE is a low-precision training framework that reduces training–sampling mismatch and speeds up NVFP4 computation.
Highlights: - Diagnose mismatch from quantization to token probabilities. - Control risky updates with TRIAGE. - Reduce compute overhead with grouped GEMM, contiguous buffers, and fusion.
Read the full report below 👇
