Decagon 工程师将在 SGLang Summit 分享约 1T 参数智能体推理实践
Decagon 做客服智能体的工程师要讲 post-training、RL 和低延迟推理，还要聊怎么把系统扩到 1T 参数，做推理优化的可以看看。
#SGLang
共 48 条 · 7 天 6 条 · 30 天 16 条
信息流里打上「SGLang」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月17日
10月16日
Reflection AI 发布 Beam 模型，SGLang 支持生产环境部署
Reflection AI 新模型 Beam 上线了，而且直接开源适配 SGLang，想自己跑一套推理服务的朋友今天就能动手。
Meta 发布 Muse Spark Open，LMSYS 同步提供 SGLang 推理支持
Meta 出了个叫 Muse Spark Open 的开源模型，主打个人 AI Agent，LMSYS 的 SGLang 已经能跑它了，做部署的可以试试。
Perplexity 开源安全沙箱 SPACE，联手 CoreWeave、Akamai 布局智能体推理
Perplexity 把自家的智能体安全沙箱 SPACE 开源了，CoreWeave 和 Akamai 都来合作，做 neocloud 的可以看看这套思路。
10月14日
Gemini 4 Argon 上线 Gemini API 和 Google AI Studio
Google 的 Gemini 4 Argon 开放 API 了，内部用它在 Chrome 重构里跑到 4 倍速度，写代码的同学可以去 AI Studio 试试。
Anyscale 网络研讨会：用 Ray Serve 构建可扩展的分布式推理系统
Anyscale 要开讲 Ray Serve 推理系统设计了，从 KV cache 优化到 MoE 扩展都讲，还教你算自建 GPU 和 API 计费哪个便宜。
10月10日
10月2日
9月30日
9月26日
9月23日
9月22日
SGLang × Qwen × NVIDIA 三方合作：用 NVFP4 KV Cache 突破长上下文与 Agentic 推理瓶颈
SGLang、Qwen和NVIDIA联手推出NVFP4 KV Cache，4-bit精度下1.78倍容量提升，长上下文推理提速近80%。
9月21日
Qwen-Image 2.1 发布：单张 RTX 4090 生成 1024×1024 图像仅需 18.7 秒
Qwen-Image 2.1 一张 4090 就能跑，18.7 秒出图还带透明底输出，SGLang 当天就给出了部署命令。
9月20日
从零手搓 SGLang 的开源课程
Datawhale 和 RadixArk 联合发起的开源课程，教你从零手搓 mini-sglang，最后能对照真实 SGLang 源码提 PR，适合想深入了解 LLM 推理引擎的人。
9月18日
8月26日
8月18日
8月15日
Qwen3.8-27B开源，SGLang Day-0支持单卡RTX 5090跑206 tok/s
Qwen3.8-27B开源了，SGLang当天就能跑，单张5090能到206 tok/s，小模型之王回来了，试试吧。
8月11日
FlashBoot：亚秒级大模型权重加载系统
SGLang团队搞的FlashBoot，把大模型权重加载从20秒压到0.4秒，跨节点复制只要10毫秒。跑DeepSeek-V4系列，NVL72上实测数据，做弹性部署的值得看。
8月10日
SGLang 首发支持 Muse Glimmer，RTX 5090 上 230 tok/s
想跑 Muse Glimmer？SGLang 直接支持，单张 5090 约 230 tok/s，还兼容 Apple Silicon。
7月23日
Poolside发布Laguna S 2.1：118B参数、1M上下文，支持SGLang
Poolside的Laguna S 2.1是个118B参数的稀疏MoE模型，只激活8B参数，SWE-bench多语言拿下78.5%，还能跑在单个DGX Spark上，适合长时编程任务。
7月16日
SGLang在8xB300上以500 TPS服务GLM5.2 NVFP4 Agentic工作负载
SGLang让GLM5.2在B300上单用户跑500 tok/s，交互延迟几乎不随上下文增长，对多轮Agent任务很实用。
7月10日
Netpreme X-Mem加速SGLang HiCache缓存
Netpreme的X-Mem内存插进SGLang的HiCache，多轮对话缓存带宽不再是瓶颈，TTFT降6.7倍，吞吐量涨30%，实测SWE-bench效果显著。
7月7日
第三方用SGLang+AMD MI300将DeepSeek API成本降至五分之一
想低成本跑DeepSeek？有第三方用SGLang和AMD MI300把API成本压到官方的五分之一，技术方案公开，值得参考。
SGLang集成DSpark：置信度驱动变长验证提升推测解码吞吐
SGLang加入DSpark后，高并发场景下吞吐能提升20%，在DeepSeek-V4上实测383.7 tok/s，推理优化党可以试试。
腾讯混元Hy3模型发布：295B MoE、21B激活、256K上下文
腾讯混元新模型Hy3，21B激活参数就能比肩更大模型，幻觉率从12.5%降到5.4%，多轮对话能力大增，现在就能在SGLang上跑。
7月3日
7月2日
Poolside发布Laguna XS 2.1，33B MoE模型支持SGLang
poolside新出的Laguna XS 2.1，33B MoE专为编程智能体设计，SWE-bench 70.9%还支持Mac本地跑，值得编程党试试
SGLang 联手 NVIDIA 优化 DeepSeek V4 在 Blackwell 上实现 5 倍性能提升
SGLang 和 NVIDIA 联手让 DeepSeek V4 在 Blackwell 上跑得快了 5 倍，开源推理引擎的效率又上了一个台阶。
7月1日
SGLang 支持百度无限 OCR，采用 R-SWA 注意力保持 KV 缓存恒定
SGLang 新功能无限 OCR 能一口气处理几十页文档，显存占用不变，比传统注意力省资源，适合长文档批量 OCR 场景。
6月27日
改进DeepEP MoE负载均衡：SGLang引入Waterfill和LPLB
SGLang给DeepSeek模型加了两个新负载均衡器，跑DeepSeek V3/R1速度能快最多7%，而且不改精度，想加速推理的可以试试。
6月24日
Krea 2 开源图像模型发布，RAW 和 Turbo 双版本支持微调与快速推理
Krea 2 开源了双版本，RAW 用来训练 LoRA，Turbo 跑推理，直接用 SGLang 就能跑，比闭源模型更灵活。