#Laplace 3B

共 1 条 · 7 天 1 条 · 30 天 1 条

KV cache 1 Trainium2 1 推理优化 1 线性注意力 1

信息流里打上「Laplace 3B」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月21日

模型 Agent 与开发者官方一手05:37

i14 在 AWS Trainium2 上用原生 PyTorch 训练并部署线性注意力模型 Laplace 3B

一个 3B 的线性注意力模型，每条序列状态固定 29.5 MB，不随上下文膨胀，还全程跑在 Trainium2 上，长上下文推理的内存账很好算。

#Laplace 3B #Trainium2 #线性注意力 #KV cache

官方一手AWS Machine Learning Blog@Kevin Shabahang原文