全部动态
一行代码就能修好 DMD 视频蒸馏的过饱和问题,Wan2.1 上 4 步出片还比原版高 1 分,做视频生成的可以直接看代码
跑 Agent 最怕 token 预算失控,这篇论文的 TokenCast 能边执行边预测消耗,实测省 21.3% 的 token,做 agent 的都该看看。
给符号回归套了个专用运行框架,同样的 DeepSeek 底座准确率从 62% 拉到 94%,还超过了 Codex,做 AI for Science 的可以看看。
做图神经网络的可以看看:一个表示同时搞定校准、OOD 检测和分布偏移,14 个基准 Brier score 最低,不用再各训练一个模型。
有人把 OpenAI 那篇 Navier-Stokes 爆破论文里最难懂的部分重写成了可读版本,还引入了新线性模型解释内核构造,数学爱好者可以看看。
vLLM 和 LMCache 里能直接用的 KV 缓存调度优化,快速层容量从 100 GiB 砍到 25 GiB 吞吐基本不掉,还把 p95 首 token 时间降了 48%。
清华团队提出 TaH2,让循环 Transformer 只对需要的 token 多迭代,AIME 上同等算力多拿 3.4 分,代码已开源。
这几个作者发现个性化生成其实卡在匹配而不是生成能力上,用不到0.4%参数的小 MLP 就把十亿级 reward model 全线打过了,思路很值得琢磨。
跑 MoE 显存不够的人可以看看:微调路由加专家,Mixtral-8x7B 每层只缓存 4 个专家,取回次数降了 23.7%,速度更快精度还涨。
研究团队发现工具调用在审批延迟期间可能悄悄变更安全效果,提出 FCD 方案,32 个版本实验里拦截了效果外泄的调用,做智能体安全的可以看看。
医生朋友做临床数据分析的可以看看这个 CLEAR-Med 框架,让模型先写 SQL 再独立校验,准确率从 12% 拉到 66%,还能弃答不乱猜。
这篇论文教离散扩散模型边生成边改错,分子生成有效性比均匀扩散和掩码扩散都高,做生成模型研究的可以看看博弈式训练的思路。
FOND 规划领域的新工作,用反链表示必胜状态集,一个求解器同时搞定强规划和尽力而为规划,大实例上跑得比 PR2 和 BeSyftP 还快。
多智能体跑长任务时每个 LoRA 都重算一遍上下文,这篇论文给了一套免训练的共享方案,提速最高 3.1 倍,做 agent 服务的值得看看实现思路。
伯克利这边搞了个 X-Reset,把人类手部演示只用来当 RL 重置点,不用模仿,20 个物体三种机器人本体都能训出通用抓取策略,还能 sim-to-real 直接迁移。
这篇讲了个挺新的思路:不微调模型,而是让一个 proposer 用强化学习学会改智能体的 harness,测试时边跑边改。做 Agent 框架的可以看看。
搞 SEO 或 AEO 的朋友该看看:分析了 200 万条 ChatGPT、Claude 等引用数据,发现堆 FAQ、加结构化数据没啥用,内容和用户提问匹配度才是关键。
做可解释性的朋友看过来:这篇用 GPT-2 的 IOI 实验说明现有电路验证方法基本只看正确样本,错误复现率低到 11.4%,方法上值得反思。
仅展示最近 2000 条内容,更早的内容请查阅 AI 日报存档