在 AWS Trainium 上用 GPSIMD 自定义算子加速 DeepSeek-V4.1-Flash Engram 模块
把 DeepSeek-V4.1-Flash 的 Engram 记忆模块搬到 Trainium 3 上跑,作者自己写 C++ 算子塞进 GPSIMD 核心,n-gram 哈希快了 1.79 倍,表查找快近 5 倍。在 AWS 上部署记忆增强 LLM 的工程团队可以看看这套绕过官方工具链限制的做法。
把 DeepSeek-V4.1-Flash 的 Engram 记忆模块搬到 Trainium 3 上跑,作者自己写 C++ 算子塞进 GPSIMD 核心,n-gram 哈希快了 1.79 倍,表查找快近 5 倍。在 AWS 上部署记忆增强 LLM 的工程团队可以看看这套绕过官方工具链限制的做法。