#大模型推理

这个研究很实用，帮你理解为什么你的大模型推理时 GPU 利用率看起来很高，但实际计算效率可能很低。作者用具体的技术（vLLM、FlashAttention-3）和硬件（H100）做了实验，结论很扎实。

OpenAI等机构常用方法被挑战，论文证明先OPD后RL的两阶段训练效果更好，还给出了实用切换信号。