Parasail 接入 Positron Titan 推理服务器
想自己部署超大模型的开发者可以看看这个:Parasail 后端接入了 Positron Titan,用 LPDDR5X 内存跑推理,比 HBM 方案能塞下更多参数和上下文。长上下文或大参数量场景下可以和 GPU 云方案对比一下成本。
想自己部署超大模型的开发者可以看看这个:Parasail 后端接入了 Positron Titan,用 LPDDR5X 内存跑推理,比 HBM 方案能塞下更多参数和上下文。长上下文或大参数量场景下可以和 GPU 云方案对比一下成本。
Parasail 要把 Positron 的 Titan 服务器推上线,单台能装 32 万亿参数模型,靠 DRAM 替代 HBM 降内存成本。做超大模型推理部署的团队可以看看这条不走 NVIDIA 的路线,5MW 起步规模不小。