#prefill

共 4 条 · 7 天 1 条 · 30 天 3 条

信息流里打上「prefill」标签的资讯、产品与论文，按刊登时间排，新的在上。

11月12日

togethercompute 把推理性能拆成四种瓶颈：decode 速度、prefill、端到端延迟和 token 成本，对应不同的流量形状。选模型或服务商时别只看跑分，先测自己工作负载真正卡在哪一环。

官方账号Together AI@togethercompute原文

10月30日

这篇论文解释了为什么解码长度预测器换个模型就失效，还给出了理论证明，做推理调度的开发者可以看看。

arXiv cs.AI@Haowen Shi 等 4 人原文

10月24日

有人拿 RTX 4070 Ti SUPER 实测了性能提升，还聊到对 prefill 的影响，自己折腾显卡推理的可以看看数据。

Lxfater@lxfater原文

9月28日

行业多源确认13:52

Chamath 用两句话讲清了推理时 prefill 和 decode 的区别，想搞懂为什么 Nvidia 在长上下文里占优的可以看看。

rohanpaul_ai@rohanpaul_ai原文