#推理框架

共 12 条 · 7 天 4 条 · 30 天 7 条

vLLM 7 多模态 2 开源模型 2 AI安全 1 Anyscale 1 Chainguard 1 ClinPRISM 1 Cohere 1

信息流里打上「推理框架」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月17日

产品 Agent 与开发者01:44

Anyscale 将在 PyTorch Conference 举办 Ray 与 vLLM 团队咖啡聚会

去 PyTorch Conference 的话可以报名这个咖啡聚会，能当面跟 Ray 和 vLLM 团队聊推理部署的实战问题。

#Ray #vLLM #Anyscale #PyTorch Conference

Anyscale@anyscalecompute2 个信源在谈原文

技巧 Agent 与开发者01:13

vLLM 部署模型实用教程分享

想把模型用 vLLM 跑起来的朋友可以看看，教程链接直接给了，照着配就行。

#vLLM #模型部署 #推理框架

Xianbao Qian@Xianbao_QIAN原文

10月16日

产品 Agent 与开发者11:07

vLLM 与 Meta 合作视频引社区讨论

vLLM 和 Meta 搞了个合作视频，作者还在收反馈，做推理部署的可以看看顺便提意见。

#vLLM #Meta #开源模型 #推理框架

Xianbao Qian@Xianbao_QIAN原文

10月14日

行业 Agent 与开发者09:32

Chainguard 发现 vLLM 安全漏洞并负责任披露

vLLM 被爆出安全漏洞，Chainguard 负责地报告了。自己部署推理服务的记得升级。

#vLLM #Chainguard #AI安全 #推理框架

官方账号vLLM@vllm_project原文

10月8日

模型 Agent 与开发者精选73°10:56

vLLM-Omni 技术报告发布：统一多模态生成服务运行时

vLLM 出了个统一运行时，把语音、图像扩散、世界模型、机器人回环这些异构请求塞进一套服务框架，做全模态应用的可以看看

#vLLM #vLLM-Omni #多模态 #开源模型

官方账号vLLM@vllm_project2 个信源在谈原文

10月4日

行业 Agent 与开发者多源确认04:18

vLLM 10月15日在多伦多举办线下 Meetup，Cohere 与 NVIDIA 联合主办

用 vLLM 做推理部署的话可以关注，能听到官方讲后续规划，还能直接和团队聊，多伦多附近又免费，挺难得。

#vLLM #Cohere #NVIDIA #推理框架

官方账号vLLM@vllm_project11 个信源在谈原文

9月26日

模型 Agent 与开发者72°17:03

谷歌TPU跑Kimi比英伟达GPU快57%，底层用的是DeepSeek推理框架

vLLM那帮人创业后干的活：把Kimi K2塞进谷歌TPU，速度比英伟达GPU还快57%，框架还是DeepSeek开源的，搞推理的可以看看细节。

#Kimi K2 #Google TPU #vLLM #DeepSeek

量子位@听雨原文

7月29日

ClinPRISM: A Cost-Effective Multimodal LLM Framework for Clinical Time-Series QA

这论文搞了个ClinPRISM框架，专门搞定不规则时间序列的医疗问答，只用16个token和0.15秒回答一个问题，比现有大模型省资源还更准。

#ClinPRISM #多模态 #时间序列 #医疗AI

arXiv cs.AI@Frank Nie 等 5 人原文

6月28日

模型中美对照官方一手精选13:01

Liquid AI 发布 LFM2.5-230M 模型，支持多种推理框架用于设备端推理

Liquid AI 出了个超小模型 LFM2.5-230M，手机跑 213 tokens 每秒，树莓派也能跑 42，指令遵循还比 Qwen3.5-0.8B 和 Gemma 3 1B 强。

#LFM2.5-230M #Liquid AI #开源模型 #设备端推理

官方一手marktechpost@Asif Razzaq2 个信源在谈原文

6月13日

模型中美对照多源确认13:23

摩尔线程 MTT S5000 完成 MiniMax M3 模型 Day-0 适配

摩尔线程让国产模型跑得更快

#MiniMax M3 #摩尔线程 #MTT S5000 #多模态

IT之家8 个信源在谈原文

6月11日

论文精选09:59

ChargeBD：电池研发的异构智能体推理框架

电池研发团队终于有了一个能处理多目标权衡的 AI 框架——ChargeBD 用 MBTI 人格智能体模拟不同研发角色的认知偏好，做能源材料或系统优化的研究者可以直接参考其方法。

#电池研发 #异构智能体 #MBTI人格 #推理框架

arXiv: DeepSeek@Rui Huang 等 6 人原文

6月4日

模型中美对照02:42

Gemma 3 发布：兼容主流推理框架，权重已开放下载

Google 终于把 Gemma 3 的兼容性做全了——主流推理框架全覆盖，做本地部署或模型微调的开发者可以直接去 Hugging Face 下载权重，省去适配烦恼。

#Gemma 3 #Google #推理框架 #开源/仓库

Google AI Developers@googleaidevs原文