#推理基础设施

共 5 条 · 7 天 0 条 · 30 天 2 条

信息流里打上「推理基础设施」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月30日

vLLM团队将在PyTorch北美大会亮相，核心成员将分享推理基础设施扩展经验。

官方账号vLLM@vllm_project原文

9月24日

产品 Agent 与开发者官方一手精选73°10:01

华为新出的 KV 缓存存储，PB 级共享池加 60 微秒直读，推理集群能省不少重复计算。

官方一手pandaily@[email protected] (Pandaily)原文

8月12日

Mistral这次把推理基础设施和开源模型打包，专为欧洲主权AI铺路，想了解欧洲AI自主路线的可以看看。

官方账号Mistral AI@MistralAI原文

6月30日

vLLM 在旧金山办了个欢乐时光，聊开放权重模型和推理，不用买门票就能去，有空可以逛逛。

官方账号vLLM@vllm_project原文

6月29日

行业多源确认精选13:51

Together AI和5C搞了套GB300 NVL72，算力密度高、散热好，专门跑大规模推理，适合那种费算力的长推理任务。

官方账号Together AI@togethercompute7 个信源在谈原文