EAGLE-4 发布：无需改动模型，LLM 文字生成速度提升近 3 倍
精选理由
不用改模型，装个 eagle_harness 配合 vLLM 就能让 Qwen 这类模型出字快近 3 倍，实测数据都给了，自己搭服务的可以试试。
EAGLE-4 是一个 LLM 推理加速框架，核心机制是让一个小型辅助模型先快速猜词，主模型只负责批量验证。用户无需改动底层模型，通过 Python 安装 eagle_harness 扩展包，再搭配 SGLang 或 vLLM 运行引擎即可启用。官方在英伟达显卡上用 Qwen 模型实测，单人提问时生成速度接近原来的 3 倍，多任务并发时每秒生成文字量比原本高 35% 到 90%，回答质量不受影响。
原文 · Gorden Sun
EAGLE-4：LLM推理加速工具
EAGLE-4 推理加速框架的核心机制是让一个小巧的辅助模型在前面飞速猜词，主模型只负责批量检查。用户不需要去改动底层模型，直接通过 Python 安装名为 eagle_harness 的扩展包，再搭配 SGLang 或 vLLM 这类主流大模型运行引擎就能启动。
加速后的模型不仅不会降低回答质量，文字吐出速度还能直接翻倍。官方在英伟达顶级显卡上用 Qwen 模型实测，单人提问时生成速度能达到原本的近 3 倍；多任务并发处理时，每秒生成的文字数量也普遍比原本高出 35% 到 90%，大幅缩短了等待完整回答的时间。
项目地址：https://t.co/UqqFxRDIUt
