Agent 流量成推理服务器特殊负载，Inferact 在 vLLM 上做前缀缓存优化
Inferact 的人在讲 Agent 请求为啥跟普通聊天不一样：每轮重发一大段相同前缀，vLLM 的前缀缓存和 KV-cache 复用才是省钱的重点。
全部动态
AI 相关资讯全量信息流 · 4346 条
10月14日
Gemini 4 Argon 上线：Google 团队用它重构 Chrome 数百万行代码
Google 晒了三个 Argon 实战案例：重构 Chrome 600 万行代码、跑 ADK 省 40% 准备时间、Gemma 4 推理提速 2.85 倍，做法都能抄。
Milvus 实测 Jev 替代 LLM 调用：三类智能体搜索场景表现分化
Milvus 用三个真实搜索工作流实测 Jev 替代 LLM 调用，延迟降 4 倍、成本降 7.5 倍，还给出了哪些场景该换哪些不该换的结论。
Anyscale 网络研讨会：用 Ray Serve 构建可扩展的分布式推理系统
Anyscale 要开讲 Ray Serve 推理系统设计了，从 KV cache 优化到 MoE 扩展都讲，还教你算自建 GPU 和 API 计费哪个便宜。
10月13日
GrokBot 搭配 HTML 排版 skill：把推文串长视频转成可读长文
歸藏分享的 GrokBot 用法，配一个 HTML 排版 skill，能把推串和长视频转成手机上好读的中文长文，刷到干货推串时可以直接这么处理。
AWS 优化 Amazon SageMaker AI 上的 MoE 内核，吞吐量提升 10%
AWS 工程师公开了 MoE 推理内核的三项优化技巧，在 H200 上吞吐量提升 10%，做推理部署的可以参考。
mondaydotcom 分享基于 LangSmith 的线上与线下 LLM 评测管线实践
mondaydotcom 的工程师讲怎么用 LangSmith 搭评测管线，线上监控加线下回归都有，做 LLM 应用的可以抄作业。
企业需要让数据、人员和 Agent 协同的方案，Glass 的思路值得关注
作者聊了个观察：各公司都在找能把数据和 Agent 串起来的工具，Glass 思路不错但还没实测，适合想引入 Agent 协作的人参考。
语义相似度检索有缺陷，graph-aware 检索怎么用
svpino 用会议改期这个例子讲清了 flat 检索为什么不行，Oracle AI Agent Memory 26.8 的 graph-aware 方案有代码可跑，做 RAG 的可以试试。
LangChain 分享三场实践演讲：OVO Energy 安全客服智能体与 LangSmith Engine 构建过程
三场实战演讲打包看：OVO Energy 怎么做安全客服智能体，还有 LangSmith Engine 内部构建思路，做智能体的能抄作业。
印尼物流公司 Lion Parcel 用 Qwen-VL-Plus 替代人工录入单据
印尼快递公司 Lion Parcel 拿 Qwen-VL-Plus 自动识别运单，不用再人工敲数据，做物流或有大量单据的可以参考。
Lee Robinson 斯坦福 CS146S 讲座：Agent 产品如何与模型共同进化
Lee Robinson 在斯坦福讲了 agent 训练飞轮和「为下一代模型而建」的思路，做 agent 产品的人看这套方法论很省时间。
Recraft Studio 演示 AI 头像全流程：V4.1 Pro 加 Nano Banana 加 Seedance 2.5
Recraft 演示了一条三步头像工作流，从 V4.1 Pro 出图到 Seedance 2.5 成视频，提示词全公开，直接照抄就能跑一遍。
腾讯 Knocket 免费开放：AI 客服、知识库、转人工一套配齐
腾讯的 Knocket 把 AI 客服、知识库、转人工做成一套免费工具，网站和 App 都能接，文中还有五步上手教程，适合一人做生意的开发者照着配。
用 Tailscale 预览 Grok Bot 改的代码，cloudflared 出站受限
这篇推文讲了用 Tailscale 预览 Grok Bot 改的代码，还对比了 cloudflared 为什么不行，搞远程开发的可以参考下。
Google 发布《Site Reliability Engineering》第二版
十年前那本 SRE 圣经出第二版了，讲清了 AI 时代运维怎么变：GPU 集群怎么管、生成式 AI 怎么写复盘，还给了六大领域的 2016 对比 2026 对照表。
向阳乔木发布 qiaomu-screen2video Skill：录屏自动加双语字幕、花字与配乐
向阳乔木写了个 Skill，录屏自动配双语字幕、花字和配乐，Claude 里跑一下就能出片，还能 fork 改片尾。
Richard Socher 分享 nextbigideaclub 的"Book bites"图书摘要栏目
Richard Socher 转了一条 nextbigideaclub 的图书摘要，形式挺省时间，想快速吸收 AI 书籍要点可以看看。
开源 Skill「Anatomy」：一句话让 Claude 生成可交互 3D 机械图
一个开源的 Claude Skill，输一句话就能生成能旋转、拆解的 3D 机械线框图，还能学它的规则写法用到自己的 Skill 里。
仅展示最近 2000 条内容，更早的内容请查阅 AI 日报存档