AITOPAI热报

#Ostinato

共 1 条 · 7 天 1 条 · 30 天 1 条
DeepSeek-V4-Flash 1llama.cpp 1MoE 1推理优化 1
信息流里打上「Ostinato」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月10日
论文Agent 与开发者多源确认精选13:13
Ostinato：常驻专家实现 CPU-GPU 混合的 MoE 推理引擎

本地跑智能体的人应该看看这篇。llama.cpp 和 KTransformers 在工具调用后总有一段卡顿等待，Ostinato 把常驻专家放 GPU 上，实测等待时间砍掉 22-55%，用 DeepSeek-V4-Flash 加四张 4090D 就能跑。

#Ostinato#DeepSeek-V4-Flash#MoE#llama.cpp
事件专题
arXiv: DeepSeek@Junning Zhu原文