DeepSeek开源推理加速引擎DeepInfer与数据转换工具包deepseek-recipe
DeepSeek 把自己生产环境在用的推理加速架构直接开源了，DeepInfer 支持 N 卡和昇腾卡，自建服务卡顿的可以看看，还有个格式转换小工具 deepseek-recipe。
DeepSeek 官方开源了推理加速引擎 DeepInfer，底层整合 FlashMLA、DeepGEMM、DeepEP 等自研算子，并加入 DSpark 投机采样与异步批处理调度，支持英伟达和华为昇腾显卡。用户在 Linux 下配置 Python 3.12 和 GPU/NPU 驱动后，执行一行编译脚本即可部署离线推理，用于降低高并发场景下的延迟与算力开销。同批开源的 deepseek-recipe 基于 Rust 编写并提供 Python 库，负责把不同平台的聊天请求转换成 DeepSeek 模型的输入格式，再把输出还原成对方格式，覆盖对话、图片上传、工具调用和思考过程展示，并自动控制上下文字数上限。
DeepSeek开源推理加速引擎和转换工具包
DeepInfer：DeepSeek 官方开源的超大规模 AI 推理加速引擎 很多企业和团队在实际部署 DeepSeek 大模型时，往往会面临运算成本极高、多人同时提问时回复延迟严重卡顿的难题。
DeepSeek 官方将自己在真实业务里使用的高性能底层架构完整公开，底层打通了 FlashMLA、DeepGEMM、DeepEP 等一系列自研加速算子，并融入了 DSpark 投机采样与异步批处理调度技术。使用者在 Linux 系统下配置好 Python 3.12 和对应的 GPU/NPU 驱动环境后，执行一行编译脚本即可直接部署离线推理任务。
接入这套方案后，大模型在处理海量长文本与高并发提问时的运算吞吐量大幅跃升，大幅削减了硬件算力开销。即使用户同时发起大量请求，系统也能以极低的延迟快速吐字，并且保证在相同提示词下输出结果高度一致、格式严谨受控，充分发挥出硬件的极限性能。支持英伟达和华为昇腾显卡。
Github：https://t.co/GyT6ZBeJDN
deepseek-recipe：帮AI服务统一“语言”的数据转换工具包 各大AI平台的提问和回答格式各不相同，想要把自己的AI后台接到不同的聊天软件或API接口时，格式对不上就会彻底卡住。
DeepSeek针对这个问题推出了 deepseek-recipe，基于Rust语言编写并提供了Python支持库。它就像一个即插即用的翻译转换头，负责把不同软件发来的聊天请求自动翻成DeepSeek模型能看懂的提问词，再把AI算出来的结果打包还原成对方需要的格式。
接入之后，哪怕同时面对好几种不同软件传来的请求，系统也能自动统一处理，包括日常对话、上传图片、调用外部工具，甚至是让AI展示逐步思考的过程。它还会自动把控提问和回答的字数上限，防止超过上下文，并且能够把字数计算和思考细节准确传递回去。
项目地址：https://t.co/Y4rsbdJDE3
