有人用匿名改写前后的隐状态几何差异,判断模型是真不知道还是憋着不说,代码也开源了,做遗忘评测的可以看看。
论文
用两个 7B 模型分工干翻 32B 单体:一个负责拆任务,一个负责执行,在 WebArena-Lite-v2 上成功率 37.2% 对 24%,做 GUI Agent 的可以看看训练细节。
字节级模型不用分词器但太贵,这篇来自 arXiv 的 DeepMem 用多尺度压缩把计算量砍了约 7600 倍,效果还反超同规模 Transformer,做底层架构的可以看看。
做医疗预测模型公平性评估的可以看看,作者逐个分析了八种 AUC 公平性指标,哪些能用、哪些有坑都讲清楚了,还给了 EuroSCORE II 的模拟例子。
一篇对齐方法的复现研究:用纳什均衡思路微调,8B 模型干过了 70B,还验证了不用 GPT-4o 标注也行,做对齐的可以看看。
机械臂逆运动学一直靠手工调控制器,这篇论文用强化学习把误差压到 1mm 以内,还能直接给 π₀.₅ 这类 VLA 策略当下游执行器,做机器人方向的可以看看。
UT Austin 的机器人团队做了个 GUILD 框架,一边让 VLM 挑任务一边评估数据价值,采数据比老手工程师还高效。
研究者把模型“越训越坏”的问题做成了可测量的框架,还给出 PEARL 这个 GRPO 改进版,做对齐或安全微调的可以看看怎么压制不良行为不反弹。
有人把 transformer 改成量子测量模型,解释不再是猜的,词的贡献能精确加和,还在 IBM 量子计算机上跑通了。
论文提出 CATF 框架,Manager 硬路由把任务分给专职 Worker,200 组对比里 162 组赢过单模型,还胜过 Time-MoE 15/20。
天体物理里的引力波信噪比计算向来很费算力,这篇用一个小模型把百万次评估压缩到几秒,做引力波种群研究的人可以直接拿来用。
.looped 模型参数省但 KV cache 爆炸,这篇提出 0.5bit 量化方案,SGLang 实测吞吐最高涨 6.1 倍,做部署的可以看看。
一页理论论文,把 1995 年的 hardcore lemma 推广到任意凸损失和多类分类,还和 omnipredictors 对上了,做学习理论的朋友可以看看。
训练数据本身无害但模型不信,也会让它整体变歪,数学任务失配从4%涨到60%。做模型更新的人都该看看。
预测模型一上线就改变用户行为,置信区间还算数吗?这篇论文给出了明确答案和算法,做风险敏感应用的人可以看看。
PINN遇到带孔洞的偏微分方程就翻车?这篇arXiv论文用Hodge分解和de Rham上同调给出修复方案,还拿Aharonov-Bohm效应做了实验验证。
研究员把 B 细胞亲和力成熟过程搬进了强化学习,突变预测比最强基线翻倍,做抗体设计的可以看看这套两阶段方法。
做 RL 训练的朋友可以看看这篇:用判分模型的文本反馈做自蒸馏,专门救那些普通 RL 优化不动的奖励,还讲了怎么防止训练震荡。
一篇理论算法论文,核心是把高斯划分用作学习原语,把 k 个 halfspace 学习的维度依赖从指数降到多项式,还配上了匹配的 SQ 下界,做学习理论的可以看看。
一个只有 31 万参数的 CRF 模型,肽测序准确率超过 Casanovo v5,速度快 55 倍,CPU 就能跑,做蛋白质谱的分析师可以看看。
一篇联邦学习理论论文:worker 数量超过一定规模时,普通加权平均会失效,但加上服务器自己的数据就能救回来,还给了具体的样本量条件。
搞图神经网络的朋友可以看看,这个库把 15 种层神经网络统一成消息传递实现,不用再手动拼全局拉普拉斯矩阵,省内存也好扩展。
苹果手机上不用反向传播就能微调出 1-5MB 的专用小模型,8B 模型一夜训完,做端侧智能体的值得看看。
本地跑 MoE 模型的可以看看,Bevy 不靠预测专家,靠调度并发请求,吞吐量是 llama.cpp 的 3.46 倍。
一篇理论向的多智能体强化学习论文,用 pre-window curvature 把不可加奖励下的策略优化降到多项式时间,还给出近似保证,做 MARL 的可以看看。
一篇时序预测论文,用 Koopman 算子把扩散模型的多步采样换成一步闭式计算,快 25 倍还拿了 ProbTS 上 13/17 的 CRPS 第一,做预测的可以看看。
这篇论文讲了个挺实际的问题:模型拟合同一批数据,内部机制却可以有完全不同的解。NANO 方法让训练主动制造多样性又不破坏拟合,做混合建模的可以看看。
材料模拟圈的朋友可以看看,扩散桥模型把 Al-Cu 凝固相场模拟提速约 73 倍,还不会像 U-Net 那样把枝晶抹平。
这篇论文把图神经网络做入侵检测的水分挤干了:去掉评测泄漏后,图模型精度和不带图的 MLP 打平,树模型反而更强,唯一赢在抗噪声。做安全检测选型的值得看看对比细节。
这篇论文给 GRPO 打了个小补丁:按结果密度反着缩放奖励,就能不牺牲对齐的前提下让文生图多样很多,改动量很小。
研究团队发现模型答错的数学题里有一小半其实能靠搜索轨迹救回来,他们就拿这部分数据去训练,Qwen3-VL-8B 用更少数据提了分,做法挺巧的。
给 Allentown 12.5 万居民造了一套假档案来考 AI 办案,16 个模型里大多数不及格,连前沿模型也会被骗。