Exa 借助 AWS Inferentia2/Trainium2 芯片将 Embedding 吞吐提升 47%
搜索公司 Exa 把 embedding 推理成本和吞吐同时压降了 47%,靠的是在 AWS Inferentia2/Trainium2 上手写 NKI kernel,而不是堆 H100。做 RAG 或大规模索引的开发者值得看看这套降本思路,单位成本能差出一条产品线。
搜索公司 Exa 把 embedding 推理成本和吞吐同时压降了 47%,靠的是在 AWS Inferentia2/Trainium2 上手写 NKI kernel,而不是堆 H100。做 RAG 或大规模索引的开发者值得看看这套降本思路,单位成本能差出一条产品线。