18:14官方一手marktechpost@Michal Sutter腾讯开源了AngelSpec,一个基于PyTorch的训练框架,支持6种推测解码架构,包括MTP和块并行方法。该框架引入了DFly块扩散草稿器,采用混合目标条件与隐藏校正自回归头提升生成质量。AngelSpec还集成D-cut机制,实现运行时自适应验证预算分配。在HY3-295B-A21B模型上,TP=8配置下,DFly-8在并发4至64范围内实现1.98至2.40倍的解码速度提升。AI模型AngelSpecDFly腾讯推荐理由:腾讯刚开源了AngelSpec,一个统一训练推测解码草稿模型的框架。它带的DFly块扩散器能让HY3模型推理快最多2.4倍,还支持六种架构,实用性强。原文稍后读已读值得跟进有用关注 AngelSpec
21:23Hunyuan@TXhunyuan精选72°腾讯混元开源了AngelSpec,一个端到端的投机解码框架,同时支持训练和部署。在Hy3-A21B模型上,DFly方法在并发数4到64范围内,相比自回归解码实现1.98到2.40倍的端到端加速。与DFlash相比,DFly的吞吐量高出10.5%到11.8%。项目提供了训练代码、Hy3-A21B MTP/DFly drafter权重,以及论文和文档。AI模型AngelSpecDFlyTencent Hunyuan推荐理由:腾讯混元开源了AngelSpec,一个能帮你的模型推理提速近2倍的投机解码框架,实测比DFlash还快10%以上,代码和权重都直接可用了。原文稍后读已读值得跟进有用关注 AngelSpec