加速推理相关 AI 资讯 · AITOP · AI热报

8月25日

03:48

03:48

官方一手AWS Machine Learning Blog@Nilesh PS

精选

Amazon SageMaker HyperPod支持在Amazon EKS上管理Ray，可创建和监控Ray集群，连接JupyterLab和代码编辑器笔记本，提供开箱即用的可观察性，并从SageMaker Studio运行弹性分布式训练和加速推理，使用开源KubeRay和标准Ray API。

AI产品 SageMaker Ray Amazon EKS

推荐理由：SageMaker HyperPod新增Ray支持，让分布式训练和加速推理更简单，值得一试。

8月14日

11:31

11:31

官方账号arXiv cs.LG@Tianyi Li, Yaxin Luo, Xinyi Shang, Zhiqiang Shen

DARTree是一种免训练的推测性解码方法，将预训练的自回归修正头从链式扩展为树结构，以加速大语言模型推理。它通过批量扩展和评分构建固定宽度的候选树，再经最佳优先剪枝选出验证树，无需顺序堆操作。在七个数学、代码和聊天基准上，DARTree在全部四种模型-温度配置中取得最高平均接受长度和加速比，单轮验证最多接受12.97个token，比DFlash高98.6%，比Domino高27.9%，相比本地自回归解码实现最高9.73倍无损加速。

论文 DARTree 推测解码扩散模型

推荐理由：这论文搞了个叫DARTree的采样方法，不用训练就能让模型跑得更快，最多比原来快9倍多，数学和代码任务上都有效。

6月26日

11:01

11:01

AI Will@FinanceYF5

精选

Jayden Teoh提出Next-Latent Prediction（NextLat），一种自监督学习方法。该方法教Transformer预测下一个隐状态而非直接预测token。NextLat使模型形成紧凑的世界模型，在推理和规划任务上表现更好。通过自speculative decoding，推理速度最高提升3.3倍。

AI模型 NextLat Transformer 推理模型

推荐理由：Transformer预测隐状态而不是token能加速3.3倍，还能形成世界模型。Jayden Teoh的新框架值得看看。