事件专题 ·多源确认

EXO 与 Thinking Machines 让 Inkling 2 Mini 在 Mac 本地跑到 125 token/s

EXO Labs 与 Thinking Machines 合作,让 Inkling 2 Mini 在本地设备上高效运行:96GB M5 Ultra Mac Studio 上达到 210 tok/s 解码、3620 tok/s 预填充,48GB M5 Max MacBook Pro 上达到 125 tok/s 解码、1750 tok/s 预填充。测试中它构建一个原生天气应用的速度比 Claude Sonnet 5.5(API)快 1.8 倍,成本低 11 倍。 技术上,Inkling 2 Mini 采用循环(looping)架构:重复使用同一组模型层来增加推理时计算量,从而在不增大模型体积的前提下提升智能水平。这种设计特别适合 MacBook 这类内存受限的本地设备,让小模型在端侧也能获得更多"思考"时间。 对开发者来说,这意味着无需 API 也能在笔记本上跑出接近云端模型的编程表现,同时成本优势明显。原推作者用 48GB M5 Max 只测到 33 token/s,怀疑是 DeepSeek harness 拖累了速度,EXO 的官方数据说明优化后的 harness 能拉开数倍差距。

当前结论

EXO 和 Thinking Machines 把 Inkling 2 Mini 优化到 MacBook 本地 125 tok/s,还在天气应用测试里比 Claude Sonnet 5.5 API 快 1.8 倍、便宜 11 倍。靠的是循环架构,小模型反复跑层来加推理计算。经常写代码的人可以在本地白嫖一个编程模型,不用付 API 费。

11 个信源58° AI 热度最后更新 2026/11/21 15:12:35

证据链

11 个信源
相关来源 1Julien Chaumond
查看原文
相关来源 3Artificial Analysis
查看原文
相关来源 7Clement Delangue
查看原文
相关来源 9Thinking Machines Lab
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。