Tri Dao 提议用扩散 LLM 担任快速执行模型,与智能编排模型搭配
Tri Dao 提了个有意思的组合:让聪明模型做规划,扩散 LLM 凭生成速度快来做执行,两条腿分工干活。
Tri Dao 提出把一个擅长规划编排的模型与一个高速执行模型配对使用的想法。他认为 Diffusion LLM(扩散式语言模型)的生成速度快,适合承担 worker 这一角色。这一分工架构中,orchestrator 负责架构设计,worker 负责快速执行任务。
I’ve often wanted to pair a smart orchestrator / architect model with a super fast worker model. Diffusion LLM could fill the worker role