#开源模型
一个 MoE 开源模型,122B 只激活 10B,跑起来不算重,作者称评分多数超过 Qwen3.8-Flash-Next,可以直接下载试试。
商汤把自家 27B 机器人模型和评测框架都开源了,覆盖 12 个仿真基准加 8 台真机,做具身智能的可以拿来直接测。
DeepSeek 把自家生产环境用的推理框架开源了,昇腾 950 也能跑,部署推理的可以看看 README 里的优化实现。
EAGLE-4 这个推测解码组件能在不改模型输出的前提下把解码速度提到约 3 倍,比 DFlash 2 还快 1.28 倍,做推理部署的可以看看。
HaoAILab 开源了 FastH3-Omni,权重和训练代码全放出来,vLLM-Omni 当天就支持,消费级 RTX 显卡也能跑实时视频生成。
vLLM 用 Wide-EP 和 EPLB 基本追平了 DeepSeek 官方推理栈的性能,decode 差距 6% 以内,还有单卡 1M tokens/s 的数据,自己搭推理服务的可以看看。
谷歌把 TorchTPU 开源了,PyTorch 代码不用重写就能跑在 TPU 上,亚马逊昨天也发了 TorchNeuron,两家联手想撬英伟达的盘子。
做 LLM 部署的可以看看,EAGLE-4 开源了,推测解码能自适应硬件和负载,Qwen3.8-27B 实测跑到 961.6 tokens/s。
Mistral 出了新语音模型 Voxtral 3,转写能打 50 多种语言,转写榜排第 3,还能自己部署,做语音应用的可以试试。
n8n、NVIDIA 和 Together AI 的工程师在柏林聊开源模型怎么在生产环境跑起来,做部署的可以关注他们后续的分享内容。
DeepSeek 把跑 V4.1-Flash 的推理引擎 DeepInfer 开源了,基于 vLLM,想自建部署省算力成本的可以拿来直接用。
在 PyTorchCon 现场的话可以去逛逛,vLLM、Ray、DeepSpeed 这些项目的人都在,能当面问问题。
DeepSeek V4.1 Flash 出了去审查版 GGUF,拒答率直接归零,MMLU 还从 86.0 涨到 86.6,想本地跑的可以去试试。
Google 和 Meta 把 TPU 接进了 PyTorch,训练 Llama 3 405B 能近线性扩展,推理直接用 vLLM,用 PyTorch 的人可以看看。
fal 公布了 FLUX 3 Max 的第三方 Elo 成绩,1,139 分进了图生视频第一梯队,做视频生成的可以看看这个榜单。
这期开源周报把 DeepSeek V4.1 Flash 1017、美国本土开源模型和中美监管动向一次讲清,想追开源进展直接看这篇就行。
Nathan Lambert把Reflection、Meta、Nvidia的新开源模型汇总点评,还顺带讲了中国商务部出口监管和DHS盯上DeepSeek这两件事,一条推文信息量不小。
用 vLLM 的朋友注意:TPU 现在有官方后端了,Pallas kernels 和多机并行都开源,贡献者还能白嫖免费 TPU 算力。
DeepSeek 把推理集群的账本公开了:日处理 155 万亿 token,GPU 时收入 38 美元,算下来毛利约 82%,这数字值得看看。
给用 Claude Code 或 Cursor 写代码的人:这个开源工具能把你的会话历史存成经验,下次智能体直接复用,少走弯路。
PyTorchCon 2026 在 San Jose 开幕了,讲的是开源栈怎么打通模型到芯片到云,还拉了 Nebius 和 Nscale 两个新白金会员进来。
PyTorch 生态年度大会开幕了,vLLM、Ray、DeepSpeed 这些项目都有专场,不到场也能看直播,做工程的同学可以挑几场听。
Amazon 把 PyTorch 代码直接编译到自家 Trainium 芯片上跑,开发者一行代码不用改,还开源了。
Bria 的 Fibo 2.0 免费权重就能打平 Qwen-Image-2.1,API 一张才 3 美分多,做图像生成和编辑的可以试试。
DeepSeek 把自家跑 V4.1-Flash 的推理框架开源了,Apache 2.0 随便商用,还同时支持英伟达和昇腾,做部署的可以看看。
DeepSeek 把自家线上推理的优化手法开源了,GPU 空等、缓存复用这些细节都写了,自建集群的团队直接抄作业。