主要来源Julien Chaumond
查看原文事件专题 ·多源确认
EXO Labs 与 Thinking Machines 让 Inkling 2 Mini 本地跑出 210 tok/s,速度比 Claude Sonnet 5.5 快 1.8 倍
EXO Labs 与 Thinking Machines 合作,把 Inkling 2 Mini 优化到可在 Mac 上高效本地运行:在 96GB M5 Ultra Mac Studio 上解码速度达 210 tok/s、prefill 达 3620 tok/s;在 48GB M5 Max MacBook Pro 上也达到 125 tok/s 解码、1750 tok/s prefill。 实测中,它在一台 M5 Ultra Mac Studio 上构建原生天气应用的速度比 Claude Sonnet 5.5 快 1.8 倍,按 API 定价计算便宜 11 倍。关键在于其 looping 架构:循环复用模型层可以在不增加模型体积的情况下提升推理时算力,因此更适合内存受限的本地设备。 这一结果表明开源模型加上本地推理优化,已在编码任务上对云端闭源模型形成速度与成本的双重优势,对需要在 MacBook 上离线跑模型的开发者是直接可用的方案。
当前结论
如果你想在 MacBook 上不联网跑代码模型,这条值得看:Inkling 2 Mini 在 M5 Ultra 上每秒 210 token,做编码任务比 Claude Sonnet 5.5 快 1.8 倍还便宜 11 倍。 looping 架构让小模型本地也能堆推理算力,独立开发者直接受益。
11 个信源68° AI 热度最后更新 2026/11/21 11:17:46
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。