联邦学习又出新优化思路:让所有客户端沿同一条预测路径算梯度,通信量和 FedAvg-M 一样但聚合方向是无偏的,还附理论收敛证明,做分布式训练的可以看看。
全部动态
这篇论文把“加物理约束到底有没有用”讲清楚了:对 Burgers、KdV 这类非线性 PDE 有用,线性问题基本白搭,算力紧张时建议先看结论再选方案。
把 CLIP 接进 PPO-Lagrangian 做安全强化学习,MetaDrive Hard 上事故率降了 12 个点,但作者自己发现信号并不能预判碰撞,分析很实在。
有人拿非生成式模型 Jev 1.13 和 GPT-6 Sol 在四个医疗基准上跑了对比,便宜快十倍但复杂病例上差 20 多个百分点,概率校准数据挺有意思。
模拟电路版 SWE-bench 来了:50 个真实设计任务,15 种智能体跑 2250 次实验,DeepSeek V4 Pro 靠参考拓扑涨了 18.7 个点。
一篇训练方法论文:让统一模型自己看图、自己改图,用整条轨迹的 RL 训练,GenEval 比 SFT 高了 12 分,推理时还不用 verifier。
一篇讲怎么给金融 Agent 打分的论文:专家定规则,Agent 生成评分标准,还附带 100 个查询的基准,做金融评估的可以看看。
Qwen3.5-4B 只靠写复盘解释做微调,不用奖励模型就在 SWE-bench 上跑赢 GRPO,做智能体训练的可以看看这套 ROFT 流程。
这篇论文测了个很扎心的问题:工具挂了之后智能体会不会硬说成功了。六家模型对比下来,加个证据契约能把虚报率从 22.8% 压到 0.8%,做智能体的都该看看。
一行代码就能修好 DMD 视频蒸馏的过饱和问题,Wan2.1 上 4 步出片还比原版高 1 分,做视频生成的可以直接看代码
跑 Agent 最怕 token 预算失控,这篇论文的 TokenCast 能边执行边预测消耗,实测省 21.3% 的 token,做 agent 的都该看看。
给符号回归套了个专用运行框架,同样的 DeepSeek 底座准确率从 62% 拉到 94%,还超过了 Codex,做 AI for Science 的可以看看。
做图神经网络的可以看看:一个表示同时搞定校准、OOD 检测和分布偏移,14 个基准 Brier score 最低,不用再各训练一个模型。
有人把 OpenAI 那篇 Navier-Stokes 爆破论文里最难懂的部分重写成了可读版本,还引入了新线性模型解释内核构造,数学爱好者可以看看。
vLLM 和 LMCache 里能直接用的 KV 缓存调度优化,快速层容量从 100 GiB 砍到 25 GiB 吞吐基本不掉,还把 p95 首 token 时间降了 48%。
清华团队提出 TaH2,让循环 Transformer 只对需要的 token 多迭代,AIME 上同等算力多拿 3.4 分,代码已开源。
这几个作者发现个性化生成其实卡在匹配而不是生成能力上,用不到0.4%参数的小 MLP 就把十亿级 reward model 全线打过了,思路很值得琢磨。
跑 MoE 显存不够的人可以看看:微调路由加专家,Mixtral-8x7B 每层只缓存 4 个专家,取回次数降了 23.7%,速度更快精度还涨。
仅展示最近 2000 条内容,更早的内容请查阅 AI 日报存档