别再拍脑袋定 TTS 自动扩缩阈值：Amazon SageMaker AI 实测方法
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
精选理由
在 SageMaker 上跑 TTS 的团队可以看看，用 Q_max 和 T_total 两个实测值算扩缩阈值，省 GPU 钱又不破延迟 SLO。
AWS 工程博客介绍在 Amazon SageMaker AI 上部署 Kokoro-82M 文本转语音模型时，如何用实测数据代替猜测来设置自动扩缩目标。文章将模型打包为自定义容器部署，然后从线上端点测出两个关键指标：单实例最大并发 Q_max 和端到端延迟 T_total，再据此推导扩缩策略。这种做法避免了两类常见代价：GPU 算力浪费或违反延迟 SLO。
原文 · AWS Machine Learning Blog
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
Teams deploying custom text-to-speech models on Amazon SageMaker AI often guess at autoscaling thresholds, and a wrong guess either wastes GPU spend or breaches a latency SLO. This post deploys Kokoro-82M as a custom container and derives a measured autoscaling policy from two live-endpoint measurements, Q_max and T_total, instead of guesswork.