NVIDIA 出了个 5 分钟视频,教你用 Dynamo 把单个模型端点在 Kubernetes 上扩成多 worker,还带 OpenAI 兼容接口,运维模型服务的可以直接看。
AI热报 AITOP|每日精选 AI 新闻与大模型动态
CoreWeave 出了个 RL Rollouts,训练时换 checkpoint 不用重新部署,快了 15 倍,NVIDIA 用它把 BrowseComp 从 37% 拉到 45%。
AMD 把扩散语言模型 LLaDA-8B 跑进了 NPU,比 CPU INT4 快 1.67 倍、省电 8.9 倍,做端侧推理的可以看看他们的量化与图切分细节。
Anthropic 研究员聊他怎么打开 Claude 看 AI 到底在想什么,还发现模型会提前规划好几个 token,挺有意思
Percy Liang 把 KV cache、GQA、投机采样这些推理优化串成一条数学主线,讲义公式全用 sympy 可验证,想搞懂推理为啥慢的必看。
谷歌开源的 Harness² 不改模型权重,让 Agent 自己调试 System Prompt、记忆、子 Agent 这些配置,还兼容 Codex,搞 Agent 开发的可以试试。
Google Research 开源的智能体框架,没标准答案也能自动改 harness,弱模型换上后能追平强模型的基础分,代码已开放。
NVIDIA 出了个表格预测库,TabICLv2、KumoRelational 这些预训练模型推理即用,不用自己训练,做表格任务的可以试试。
Meta 冻结模型权重测智能体自学能力:GPT-5.6 Sol 每 1000 美元涨 298 分,Claude Fable 5 只有 57 分但胜率涨幅更大,挺有意思的对比。
Tw93 老哥晒了怎么把 2 个 Claude Max 加 ChatGPT Pro 用到额度见底,多设备让 AI 跑测试的玩法很实用,程序员可以抄作业。
vLLM 和 NVIDIA 把 Kimi K3 推理速度干到了单批 842 tokens/s,还公开了完整 kernel 实现和评测细节,做推理优化的可以细看。
一群人用 Claude 和 Codex 搞数学研究,免费模型 Space Bunny Max 连续四次破纪录,文中那个 autoresearch.md 提示词直接可抄
LlamaIndex 搞了个专挑复杂 PDF 毛病的提取基准,最强的 Codex 才 58% 分,做文档处理的朋友可以拿去测测自家方案。
Salesforce 只用 8B 小模型就教 AI 一次写出一堆不重复的科研点子,创意性还赢了 Claude Opus 4.8 和 GPT-6 Astra,做法挺巧的。
DeepSeek 新版 Flash 模型上了 Ollama,跑智能体任务更快更便宜,还能直接接 Claude Code 用,美国托管还不留数据。
Cohere 拿 Embed 5 Fast 和 Google 的 EmbeddingGemma 2 跑了 163 个数据集,95% 以上都赢,做 RAG 选嵌入模型可以看看这组对比。
Salesforce 把自家的时序预测模型 Moirai 塞进了 Data Cloud Forecast,勾选一个设置就能用,老查询也不用改,做业务预测的可以看看。
教你怎么给 agent 省钱:拿 Jev 蒸馏个 4B 小模型接进 harness,最省能砍掉 89% 成本还几乎不掉成功率。
Perplexity 把 Computer 背后的沙箱开源了,每个任务跑在独立 Firecracker microVM 里,做智能体的可以拿来自管安全。
教你怎么把 4B 小模型塞进 agent 框架里替 LLM 做常规决策,成本砍掉八成还更快,做 agent 的都该看看。
腾讯发了篇终端智能体训练论文,五阶段交替微调加 PPO,Terminal-Bench 成绩直接翻倍多,奖励审计那段很值得细看。
OpenRouter 出了个 Decisions API,能自动发现你的智能体在死循环,到阈值就自动掐掉或提醒,写 Agent 的可以省不少 token 钱。
Arena 的安全榜更新了,Meta、Reflection、StepFun 三家新上榜,OpenAI 的 GPT-6.1-Sol 还是最能管住手的,看各家智能体谁更靠谱。
LMArena 拿 9 万条真实智能体会话给 30 个模型打了三个对齐分数:越权操作、错误归因、谎报完成。选智能体模型前可以先看看这份榜单。
NVIDIA 的 Chris Hoge 挑了 5 场 PyTorchCon 演讲,MoE 通信优化和 CUDA graphs 那几场对做训练性能的人挺实用。
NVIDIA 开源了一个中间训练配方,给 Nemotron 加一段 500B token 的软件工程数据训练,SWE-bench 多语言直接从 55.8 涨到 62.8,自己训练编程智能体的可以照抄。
Raschka 推理模型系列的完结篇,手把手教你用 DeepSeek R1 的数据把 Qwen3-0.6B 蒸馏出推理能力,还能跑通 MATH-500 评估。