#Inferentia2

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Inferentia2」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月19日
产品Agent 与开发者官方一手精选14:23
Exa 借助 AWS Inferentia2/Trainium2 芯片将 Embedding 吞吐提升 47%

搜索公司 Exa 把 embedding 推理成本和吞吐同时压降了 47%,靠的是在 AWS Inferentia2/Trainium2 上手写 NKI kernel,而不是堆 H100。做 RAG 或大规模索引的开发者值得看看这套降本思路,单位成本能差出一条产品线。

官方一手AWS Machine Learning Blog@Summer Devlin原文