产品官方一手
METASTONE 发布 TokenFleet，跨 GPU 集群调度 LLM 推理
METASTONE Launches TokenFleet to Schedule LLM Inference Across GPU Clusters and Data Centers
精选理由
METASTONE 出了个叫 TokenFleet 的推理调度框架，P95 首 token 延迟降了 32.4%，吞吐提升近三成，做推理部署的可以看看。
算力运营商 METASTONE 推出 LLM 推理集群调度框架 TokenFleet。官方数据显示，P95 首 token 延迟降低 32.4%，达标输出吞吐量提升约 29.4%。该框架面向跨 GPU 集群和数据中心的分布式推理调度场景。
原文 · pandaily
METASTONE Launches TokenFleet to Schedule LLM Inference Across GPU Clusters and Data Centers
Compute operator METASTONE unveiled TokenFleet, a scheduling framework for LLM inference clusters. Its slides show P95 time-to-first-token down 32.4% and on-target output throughput up about 29.4%.
