Hibana：面向统一内存设备的本地智能体推理引擎
想在本地跑大模型智能体的开发者可以看这篇。它专门针对 DGX Spark 这类统一内存设备优化，跑 125B 的 Qwen、Nemotron 比 vLLM、llama.cpp 快 3 到 4 倍，还能保存智能体状态随时恢复，代码也开源了。
#Hibana
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Hibana」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月10日
想在本地跑大模型智能体的开发者可以看这篇。它专门针对 DGX Spark 这类统一内存设备优化，跑 125B 的 Qwen、Nemotron 比 vLLM、llama.cpp 快 3 到 4 倍，还能保存智能体状态随时恢复，代码也开源了。