AITOPAI热报

AI推理

共 44 条相关 AI 资讯
5月27日
10:50
10:50官方账号arXiv cs.LG@Vasilios A. Siris, Adamantia Stamou, George D. Stamoulis, Konstantinos Varsos, Ramin Khalili
精选
AI 服务的广泛使用引发了环境可持续性担忧，其中 AI 推理的碳排放是主要贡献者。本文提出一个框架，基于用户对推理质量和延迟的估值以及环保意识，设计激励措施，同时权衡碳排放与这两个 QoE 参数。该框架可适应不同 AI 模型规模和资源分配下的权衡。激励通过实用的两级服务订阅实现，用户以折扣换取碳排放减少。在碳强度高时，折扣服务允许 AI 提供商以较低质量和较高延迟服务部分推理请求。
论文AI推理碳排放用户激励
推荐理由：这篇论文为 AI 服务提供商提供了一个实用方案，通过用户激励平衡碳排放与服务质量，关注绿色 AI 的团队可以直接参考其两级订阅设计。
原文
5月26日
23:26
5月22日
16:20
16:20IT之家（博客/媒体）
联想集团董事长杨元庆在财报沟通会上表示，AI基础设施正从训练向推理快速转移，目前70-80%的GPU服务器用于训练，未来将反转至70%用于推理、30%用于训练。他强调训练需求不会减少，但仅靠大型云服务商已无法满足需求。联想2026财年AI相关收入同比增长105%，占总营收33%，第四季度占比达38%。
行业联想GPU服务器AI推理
推荐理由：杨元庆的预测揭示了AI算力市场的结构性拐点——推理需求将主导未来，做AI应用部署和基础设施规划的团队值得关注这一趋势，提前调整算力采购策略。
原文
5月19日
16:43
16:43官方账号阿里云 Alibaba Cloud@alibaba_cloud
阿里云宣布 Apache RocketMQ 5.x 引入 LiteTopic 功能，专为 AI 推理任务设计。传统消息队列限流无法应对 AI 推理的长耗时和不可预测性，LiteTopic 提供毫秒级细粒度流量治理，能有效管理 AI 推理流量。该功能解决了 AI 场景下消息队列的痛点，适合需要高精度流量控制的 AI 应用团队。
AI产品RocketMQAI推理流量治理
推荐理由：AI 推理任务流量波动大，传统 MQ 限流不够用——RocketMQ 5.x 的 LiteTopic 给了毫秒级控制能力，做 AI 推理服务或消息队列架构的团队值得关注。
原文