DeepSeek开源推理加速引擎DeepInfer与数据转换工具包deepseek-recipe

DeepSeek 官方开源了推理加速引擎 DeepInfer，底层整合 FlashMLA、DeepGEMM、DeepEP 等自研算子，并加入 DSpark 投机采样与异步批处理调度，支持英伟达和华为昇腾显卡。用户在 Linux 下配置 Python 3.12 和 GPU/NPU 驱动后，执行一行编译脚本即可部署离线推理，用于降低高并发场景下的延迟与算力开销。同批开源的 deepseek-recipe 基于 Rust 编写并提供 Python 库，负责把不同平台的聊天请求转换成 DeepSeek 模型的输入格式，再把输出还原成对方格式，覆盖对话、图片上传、工具调用和思考过程展示，并自动控制上下文字数上限。