产品精选

开源推测解码工具 Woodcock 让 Qwen3-1.7B 提速至 300 tok/s

精选理由

想在 Mac 本地跑 Qwen3-1.7B 又嫌慢的话,这个 MIT 协议的 Woodcock 直接把它拉到 300 tok/s,还不用碰 Eagle 4 的授权问题。

Woodcock 是一款采用 MIT 许可证的推测解码实现,定位为 Eagle 4 的 clean-room 替代方案,可规避原方案的许可限制。其 Alpha 版本在 M4 Max 上把 Qwen3-1.7B 的生成速度从 120 tok/s 提升到 300 tok/s,相比普通解码快近 3 倍。项目代码已开源,适合在本地跑模型的开发者。

原文 · @atomic_chat_hq

Woodcock finishes almost 3x faster 🥜

Woodcock is our MIT-licensed, clean-room alternative to Eagle 4

Our Alpha version takes Qwen3-1.7B from 120 to 300 tok/s vs plain decoding on an M4 Max

Woodcock -> https://t.co/B6eJIWNrU0 Run AI models locally -> https://t.co/lW9A0SM1LR