论文
训练大模型时通信开销很头疼,这篇把 FSDP2 的布局转换和 reduce-scatter 都重写了,64 卡上步时省 27%,还给出了具体实现思路。
一篇把物理方程直接写进专家结构的 PDE 论文,17M 小模型反而打赢更大的 MoE-POT,做科学计算的可以看看代码。
这篇论文用孟加拉国 66 年数据证明:很多降雨预测模型的"高分"其实是数据泄露,气候学基线就能打平大部分机器学习模型,做时序预测的都该看看。
马耳他团队把 14 个 VLA 模型搬到了海底沉船上真机实测,ACT 单任务策略完胜通用 SmolVLA,结论对做具身的很有参考价值,硬件套件也开源了。
一个能塞进神经网络的凸约束修正层,SOC-MPC 推理快了 144 倍还保证可行性,做优化控制或电力系统调度的可以看看实现思路。
一篇系统方向的论文:GearUp 把模型加载塞进 DAG 的空闲时段,延迟最高降到十分之一,内存还省九成,做推理服务的人可以看看。
搞科学计算的朋友看看这个:用in-context学习把560个PDE算子塞进一个25万参数的小模型,新PDE给几对演示就能直接预测,不用重新训练。
有人用梯度方法破解了'防爬虫训练'的不可学习数据集,CIFAR-10 上干净准确率大幅回升,做数据保护的人得看看。
训练回归模型要用 PCC 或 CCC 做损失的话,这篇给了在小批量下估计梯度不偏的方案,两个变体开销都很小,可以直接试。
论文用一种很较真的注册式重放方法,证明 Adam 里调大 epsilon 不只是简单缩小低频词的步长,实验设计本身挺值得学。
想搞推荐系统公平性的朋友看这篇:4.2万创作者的仿真环境,一套策略让小创作者周曝光涨33%。
MoE 模型跑在边缘设备上会被专家权重搬运拖慢,这篇论文提出 CRISP,在 Mixtral-8x7B 上把吞吐拉到 2.1 倍,精度只掉 3.6%,做端侧部署的可以看看。
测试时适配容易一批起效一批翻车,这篇论文的 PORTAL 教模型自己决定何时干预、何时标注,做部署优化的话值得看看原理。
prompt injection 一直没好办法防,这篇用注意力门控把攻击成功率从 97% 压到 10%,还不太掉性能,做安全或 agent 的值得看。
伯克利团队用纯仿真训练 LEAP 手做任意姿态抓取,4800 个目标 95% 成功,安全过滤器还能减少 75% 掉落,方案全开源。
训练了 849 个模型才总结出的规律:做工具调用智能体时,堆工具和数据库种类比堆任务数量更划算,做数据的建议看看。
训练 agent RL 太烧 rollout 预算的可以看这篇,EnvSched 在 Qwen3-8B 上 40 步就跑赢随机选任务 120 步的效果,省了三倍训练量。
不训练就能看球赛自动挑事件,靠解说文本加分镜省72%推理成本,还超过专门训练的SoccerNet模型,做视频集锦的可以看看。
作者把复数特征值随时间的缠绕路径变成一条拓扑辫子,再用 Burau 表示转成特征向量,四分类做到 97.1%,比不追踪特征值的基线 44.5% 高出一大截,图机器学习方向值得看看。
把 LLM 用在电商促销分配上,单 token 输出当转化概率用,A/B 测试里转化涨 1% 还省了 6% 促销费,思路挺有意思。
航空业终于有了公开的预测性维护数据集,9.2 亿时间步、9 个真实故障场景,想搞工业时序的同学可以拿来跑 baseline 了。
为什么 RLVR 训练一多题就崩?这篇论文用可解模型推导出临界题数公式,还实验验证了移除共享方向能防崩溃,理论派别错过。
Niantic Spatial 做了个多视角扩散模型,把卫星图当额外条件喂进去,生成看不到的街景视角时布局不再乱编,连 3D 重建都不需要。
用图网络替掉自注意力,训练只到 512 长度就能零样本跑 400 万 token,线性内存还不爆显存,思路挺新鲜。
如果你调过 DPO 却纳闷为什么只动了一点参数就有效,这篇论文给了理论答案,还顺带解释了为什么 DPO 后的模型更好合并。
用 OpenAI 证明 Haldane 能隙那套方法,把 S=1 海森堡链基态唯一性证出来了,还坦承 ChatGPT 参与写证明,数学和 AI 协作两个角度都挺有意思。
改进 Muon 优化器的论文:不硬压权重范数,改成投影掉径向分量,实测比 MuonH 省 15% token,训练 LLM 的可以看看。
新渲染基元 Hexels,六边形设计比 2DGS 省显存还更清晰,DTU 重建误差降了 28.9%,做 3D 重建的可以看看。
机器人圈的新论文:ThinkWorld 把动作推理拆成一串运动 token,让机器人直接从人类视频学操作,不用逐条标注动作。
这篇论文把 AlphaFold 的三角更新和格点 QCD 用同一个 Wilson Loop 框架串起来了,数学上挺漂亮,做关系推理和图模型的值得看看推导。
做大气化学或物理-机器学习混合建模的可以看看,能把 KPP 机制直接转成 JAX 可微分代码,做参数估计不用手推伴随了。
让模型在一个重力规律被改掉的世界里自己发现异常,12 个模型只有 GPT-6-Astra 做到一次,其余全挂,测试设计挺有意思。
一篇挺有意思的预训练分析论文,用不同年份网页快照训练的模型看知识是怎么学进去的,TVS 这个指标可以直接借鉴。
一篇挺有意思的论文:测试了 Qwen2.5、Llama-3.1 和 DeepSeek 在群体讨论记忆上的表现,发现相关性筛选会引入干扰信息,去掉归属标签反而准 13-24 分。
音频模型评测有了新招:把声音换成同类还是异类,答案变不变一试便知,600 个合成场景验证了方法。