推理基础设施相关 AI 资讯 · AITOP · AI热报

8月12日

07:32

07:32

官方账号Mistral AI@MistralAI

Mistral AI宣布将推理基础设施、开源模型与长期承诺整合，旨在帮助欧洲掌控其AI未来。该公司发布了一份路线图，强调区域化部署与主权AI的重要性。Mistral的举措包括提供本地化推理服务，并推动开源模型的广泛应用。此举被视为对全球AI格局的重新定义，尤其在欧洲市场。

行业 Mistral 欧洲AI 主权AI

推荐理由：Mistral这次把推理基础设施和开源模型打包，专为欧洲主权AI铺路，想了解欧洲AI自主路线的可以看看。

6月30日

12:24

12:24

官方账号vLLM@vllm_project

vLLM 项目将于 7 月 2 日在旧金山举办欢乐时光活动。活动由 inferact 和 novita_labs 联合主办。讨论主题聚焦开放权重模型、推理和基础设施。无需会议门票即可参加。

行业 vLLM inferact novita_labs

推荐理由：vLLM 在旧金山办了个欢乐时光，聊开放权重模型和推理，不用买门票就能去，有空可以逛逛。

6月29日

13:51

13:51

官方账号Together AI@togethercompute

精选

Together AI与5C合作部署NVIDIA GB300 NVL72系统，该系统采用高密度计算、先进冷却和AI优化存储。专为大规模推理和推理任务设计，提升基础设施的算力密度和能效。部署的重点是支撑下一代AI推理需求，尤其是长链推理场景。

行业 Together AI 5C NVIDIA GB300 NVL72

推荐理由：Together AI和5C搞了套GB300 NVL72，算力密度高、散热好，专门跑大规模推理，适合那种费算力的长推理任务。