METASTONE 发布 TokenFleet，跨 GPU 集群调度 LLM 推理
METASTONE 出了个叫 TokenFleet 的推理调度框架，P95 首 token 延迟降了 32.4%，吞吐提升近三成，做推理部署的可以看看。
#METASTONE
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「METASTONE」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月21日
METASTONE 出了个叫 TokenFleet 的推理调度框架，P95 首 token 延迟降了 32.4%，吞吐提升近三成，做推理部署的可以看看。