Token-Energy Law：用活跃字节和解码时间预测 LLM 每 token 能耗

论文提出 Token-Energy Law，把 GPU 上稠密模型每生成一个 token 的能耗归结为两个变量：活跃字节数（区分权重共享读取与每请求私有的 KV 缓存读取）和实际解码时间。两者以仿射形式组合，系数按模型和硬件/运行时配置标定。实验覆盖三个模型在 NVIDIA Hopper 和 Blackwell GPU 上的 BF16 解码，包括 Hopper 上双卡张量并行，留出条件下能量估计误差不超过 3.73%。该公式可解释批处理如何摊薄权重读取成本、更长的注意力历史如何增加 KV 需求。