训练好的模型爱抄捷径?这篇论文给出测试时就能用的修正办法,不用重新训练,效果还接近专门微调过的模型。
论文
这篇 arXiv 论文讲了个挺反直觉的坑:训练时删掉的坏行为会换个形式回来。作者用配对干预把问题量化,再提出 ICA 闸门修好,做后训练的值得看看
跑 repetitive agent 任务的可以看看:把轨迹编译成代码后,同样的任务 token 省 70 倍、结果还能逐次一致,比存 skill 靠谱多了。
一个很实用的agent框架:不用微调模型,只靠历史记录生成指南,GPT和Claude都能白拿近10个点的准确率提升。
Numina 做了个让人监督 AI 写 Lean 4 证明的工作台,还真拿它形式化了 Kakeya 猜想,开源版可以直接跑。
一群 LLM 智能体自己搞研究,20 天造出炉石酒馆战棋 AI,天梯 80% 吃鸡率超过服务器前十玩家,还能 0.03 秒决策,论文要开源。
有人把 EEG 硬件、注意力分类模型和音频干预整套跑通了,实时延迟不到 100 毫秒,37 人实验里注意力分数提升 20%,做脑机接口的可以看看。
这篇把晶体结构预测的 Top-1 从 28.3% 干到 72.2%,关键居然是修 bug——元素替换时没管化学计量系数,作者审计后重写流程,还比 CrystalFlow 快十倍。
一篇把物理守恒定律塞进光谱预测的论文,覆盖 eDOS、XANES、拉曼等四类谱,做材料发现的方向可以看看。
一群研究者把 AGI 数学理论直接落成了语言模型,单一动态状态同时做表示和预测,性能追平同规模 GPT 基线,思路很不一样。
做肌电手势识别或持续学习的可以看看:在 NinaPro DB1 上对比了三种策略,经验回放遗忘率只有 EWC 的零头,还有训练窗口怎么切才不崩的细节。
想知道 Claude 或 GPT 审代码到底能不能抓到真漏洞?这篇基准测了八款模型,265 个来自 Firefox、OpenSSL 的真实漏洞提交,结果差异挺大。
做代码审查工具或想测模型审查能力的话可以看看,1968 个带明确契约的案例,OpenAI Decisions 拿了 81.3% 平衡准确率。
联邦学习里少数站点数据常被压没了,这篇用四层架构让小于 3% 数据的节点也能追平大站点,临床场景很实用。
8B 模型后训练后在蛋白质注释任务上干翻了 671B 的 DeepSeek-V3.2-Thinking,论文里逐步级奖励分配的对比实验讲得很细,做智能体训练的可以看看。
自蒸馏训练推理模型会让学生学会瞎编参考、不敢回头检查,这篇用激活转向治好了这两个毛病,AIME、HMMT 上准确率也涨了,做训练的可以看看。
一篇用 Double Machine Learning 做动态收费政策的研究,商业区治堵效果是住宅区近两倍,还给出了一个怎么调都稳的费率区间。
一篇轻量语音情感识别论文:不用大 Transformer,411 万参数就在三个数据集组合上跑出 96.75% 准确率,做端侧部署的可以看看。
多个 GFlowNet 各自探索容易撞在同一片高奖励区,这篇论文用共享分类器动态分地盘,采样覆盖更广,做生物序列设计的可以看看。
The Well 数据集的官方基线其实没怎么调参,这篇只在 12 小时内调了下 TFNO,17 个任务里 15 个就大幅超过原基线,引用时得留心。
这篇论文把心电图当语言来处理,用 VQ-VAE 把波形切成 token 再跑 BERT 预训练,80 万条 MIMIC-IV 数据训练出来的,做心电诊断方向的可以看看。
79k 次实验说清一件事:小模型配代码图工具,增益集中在一跳查找,多跳基本用不起来。
训练数据里有脏点?这篇论文的 SWAPE 会自动给每个样本分配权重,把异常数据的影响压下去,还给了收敛证明。
50 多名专家做了个 600 级的智能体考试,前沿模型最高也只过 47.7%,想知道智能体长期能力差在哪的可以看看。
如果你的 Agent 管线老被 Pydantic 校验卡住,这篇拿 9 个模型、近 4000 次调用跑出来的失败分析值得看看。
arXiv 上的新工作 SceneBloom,用扩散模型生成可仿真训练的 3D 室内场景,做具身智能的朋友可以看看,代码已开源。
一篇解决医疗 VLM 量尺问题的论文:离散 token 测不准毫米级数值,HAD-VLM 用扩散头预测坐标和长度,误差比 Vicuna 基线降了最高 37.6%。
这论文回答了个实际问题:ChatGPT 们以后怎么靠广告赚钱、免费和付费档怎么设计,算力降价了广告收入反而可能更多,结论挺反直觉。
一个开源的波斯语检索模型,0.6B 大小打平 4B 的 Qwen3 原版,做小语种 RAG 的可以看看它的蒸馏配方。
RL 训练里 rollout 生成最耗时,这篇论文把它提速到原来的近 2 倍,还不用额外模型,做训练的可以看看实现思路。
想在单卡跑大模型又怕掉点的话,这篇给出更聪明的 SVD 压缩方案,比现有方法准确率高不少,代码也放出来了。
三个小模型做意见模拟时,问题换成否定形式概率就对不上了,这篇论文把偏差量化得挺细,做 agent 仿真的值得看看
一篇理论向论文,用五层架构拆解 LLM 上下文为何无法承载话语根基,引用了 Shchedrovitskiy 等人的系统方法论,喜欢思辨的可以啃啃。
这篇论文搞了个因果效应估计的基础模型 PICLE-PFN,一次前向传播就能出结果,不用每个数据集单独拟合模型,跑得还快。
一篇工程味很浓的 RAG 论文:7 个智能体逆向工程 241 个仓库,再靠 artifact 级元数据让检索不再靠相似度猜,做了 100+ 缺陷修复验证。