EXO 与 Thinking Machines 让 Inkling 2 Mini 在 Mac 本地跑到 125 token/s
EXO 和 Thinking Machines 把 Inkling 2 Mini 优化到 MacBook 本地 125 tok/s,还在天气应用测试里比 Claude Sonnet 5.5 API 快 1.8 倍、便宜 11 倍。靠的是循环架构,小模型反复跑层来加推理计算。经常写代码的人可以在本地白嫖一个编程模型,不用付 API 费。
EXO Labs 与 Thinking Machines 合作,让 Inkling 2 Mini 在本地设备上高效运行:96GB M5 Ultra Mac Studio 上达到 210 tok/s 解码、3620 tok/s 预填充,48GB M5 Max MacBook Pro 上达到 125 tok/s 解码、1750 tok/s 预填充。测试中它构建一个原生天气应用的速度比 Claude Sonnet 5.5(API)快 1.8 倍,成本低 11 倍。
技术上,Inkling 2 Mini 采用循环(looping)架构:重复使用同一组模型层来增加推理时计算量,从而在不增大模型体积的前提下提升智能水平。这种设计特别适合 MacBook 这类内存受限的本地设备,让小模型在端侧也能获得更多"思考"时间。
对开发者来说,这意味着无需 API 也能在笔记本上跑出接近云端模型的编程表现,同时成本优势明显。原推作者用 48GB M5 Max 只测到 33 token/s,怀疑是 DeepSeek harness 拖累了速度,EXO 的官方数据说明优化后的 harness 能拉开数倍差距。
为什么我的48GB M5 Max MacBook Pro 只能跑到 33 token/s 可能是我使用 DeepSeek harness 拖累了速度 感觉明年是不是就有能跑在笔记本上面能力相当于 Opus 5.5 的端侧模型了? 话说回来我感觉我这个48GB M5 Max 还不如我的 36G 的M3 Max ,跑起来风扇呼呼直响,渲染视频也是,我那个M3 Max稳如老狗,感觉M5 Max设计有问题!!
本条情报归属 AITOP「模型」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Inkling 2 Mini、EXO Labs、Thinking Machines、端侧模型,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「小互」(@imxiaohu),经 AITOP 多维评分管线结构化提炼。