#Inferact
共 8 条 · 7 天 3 条 · 30 天 3 条
信息流里打上「Inferact」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月17日
10月16日
vLLM 从 Berkeley 学生项目成长为开源推理引擎，背后的 Inferact 融资 1.5 亿美元
两个博士生优化推理速度的副业项目，如今跑在 50 万张 GPU 上，Google 和 Meta 都在用，还融了 1.5 亿美元。
10月14日
Agent 流量成推理服务器特殊负载，Inferact 在 vLLM 上做前缀缓存优化
Inferact 的人在讲 Agent 请求为啥跟普通聊天不一样：每轮重发一大段相同前缀，vLLM 的前缀缓存和 KV-cache 复用才是省钱的重点。
8月12日
8月7日
Simon Mo与Matt Bornstein谈开源权重模型：成本与控制
Simon Mo是vLLM作者，他讲开源权重模型怎么在成本和控制上赢过闭源API，还吐槽专有API宕机问题，适合做线上服务的开发者。
7月10日
首届vLLM大会将在Ray Summit举办，8月24-26日旧金山
vLLM社区第一次线下大会，想了解高性能推理前沿和开源生态的朋友别错过，直接和NVIDIA、AMD、Google TPU的工程师面对面。
