Hibana：面向统一内存设备的本地智能体推理引擎

Hibana 是一个专为统一内存设备设计的推理引擎，在单台 DGX Spark 上可服务最高 125B 参数的 Qwen 和 Nemotron 模型。相比 vLLM、NVIDIA Flare、llama.cpp 和 TensorFold，它每小时完成最多 3.4 倍的智能体任务，解码吞吐量最高提升 3.9 倍。现有主流引擎如 vLLM 和 SGLang 面向配备独立主存的数据中心 GPU，本地引擎则未能充分利用统一内存设备的内存层级。 技术上，Hibana 围绕统一内存系统级芯片的共享内存容量和有限带宽做了三项协同优化：通过模型手术（model surgery）修改训练后的模型架构以缩减内存占用和数据搬运；统一内存管理保留每个智能体跨轮次的状态，使长时运行的智能体可以即时恢复而无需重算；自适应投机解码在每步生成多个 token。代码已在 GitHub 的 sharar-project/hibana 仓库开源。