10:22
官方账号arXiv cs.AI@Sheng Liang, Yongyue Zhang, Nathanael Brian, Hang Lv, Hao Wang, Chen Zhang, Yong Liu
精选
推荐理由：AsymSpec通过非对称上下文访问，实现了推理加速，准确率高达90%，计算成本降低，值得一看。
计算成本
共 2 条相关 AI 资讯
8月27日
10:22
AsymSpec提出了一种非对称的推测解码框架，通过轻量级起草者和大型验证者的协同工作，在保持验证稳定性和高起草接受率的同时，实现了推理加速。在四个智能体能力和两个端到端智能体基准测试中，AsymSpec的平均准确率达到了全上下文准确率的90%，同时实现了1.3-1.7倍的吞吐量提升和0.2-0.3倍的计算成本降低。
8月26日
02:59
02:59
Guillermo Rauch@rauchg
Guillermo Rauch@rauchg推荐理由：Vercel的AI Gateway更新后，可以更高效地处理长生成任务，降低成本，提高效率，值得一试。