预训练模型相关 AI 资讯 · AITOP

9月2日

09:37

官方账号arXiv cs.AI@Chengqi Yang, Yiran Qiao, Feng Liu, Xingyu Lou, Zijun Zhou, Xiaoyun Mo, Changwang Zhang, Jiayuan Xu, Jun Wang, Xiang Ao

CM-PTM是一种新型跨多源行为预训练模型，专为移动游戏用户表示学习设计。该模型采用分层级联掩码预测任务，首先预测下一个行为的来源，然后在应用-操作级别逐步细化预测。在真实大规模移动数据集上的实验表明，CM-PTM能有效捕捉用户的内生兴趣，并在下游移动游戏推荐任务中取得显著性能提升。

论文 CM-PTM 用户表示移动游戏

推荐理由：CM-PTM模型解决了移动设备用户行为建模的跨源挑战，能更好捕捉用户兴趣，提升游戏推荐效果。

原文

8月26日

00:04

Aravind Srinivas@AravSrinivas

新版本包含基于Qwen的预训练模型，支持Nemotron 3.5 Lightning，未来将支持更多模型。支持云边协同，需用户授权。

AI产品 Qwen Nemotron 3.5 Lightning 模型协同设计

推荐理由：Arav Srinivas发布了新版本，支持更多模型，云边协同，值得一试。

原文

7月10日

17:49

量子位@十三

LingBot-VA 2.0 是首个从物理世界数据出发的具身原生预训炼模型，相比上一代在机器人操作成功率上提升 15%。该模型采用自监督学习框架，无需人工标注即可从传感器数据中学习物理规律。在 3 个标准机器人基准测试（如 RoboTurk、FMB）中，LingBot-VA 2.0 均达到业界领先水平。同时，其模型参数规模为 7B，支持零样本迁移到新物体和场景。

AI模型 LingBot-VA 2.0 具身智能预训练模型

推荐理由：想要给机器人造更聪明的脑子？这个模型直接学物理世界数据，不用人工标注，操作成功率提高15%，还是开源的，值得关注。

原文

6月28日

12:39

berryxia@berryxia

精选

Google Research在2024年ICML发布了时间序列基础模型TimesFM，2025年9月推出2.5版本。参数从500M降至200M，上下文从2048扩展到16K，新增30M分位数预测头可输出10%-90%置信区间。该模型在跨领域数据上预训练后，能零样本预测任意新序列。2026年4月增加通过HuggingFace Transformers和PEFT的LoRA微调能力。TimesFM已集成BigQuery ML、Google Sheets和Vertex AI，开源版本可用两行Python代码调用。

AI模型 TimesFM Google Research 时间序列预测

推荐理由：Google搞了个时间序列神器TimesFM，零样本预测，参数200M一张GPU就能跑，还能在Google Sheets里用，pip install两行代码搞定，做预测的别错过。

原文

6月23日

12:49

官方账号arXiv cs.LG@Tianyi Li, Zhiqiang Shen

现有线性模式连通性方法通常只从一个模型端点优化插值路径，难以扩展到大型Transformer。我们提出新框架，应用功能保持的权重变换对齐等价解，并让两个模型双向学习向共享线性插值路径的变换。双向优化大幅减少插值障碍，在中等参数规模语言模型上实现了WikiText近零损失屏障（首次展示该规模下近无屏障线性连通）。视觉领域ViT-L在插值路径上保持ImageNet top-1准确率超69%，十亿参数LLM只表现出小损失屏障。这些结果表明解决参数对称性能使大预训练Transformer通过简单线性路径连通和合并。

AI模型 Linear Mode Connectivity Transformer 模型合并

推荐理由：新方法让十亿参数Transformer通过双向学习实现线性合并，损失屏障极低，视觉和语言模型都验证有效。

原文

6月1日

15:06

官方账号NVIDIA AI@NVIDIAAI

精选

NVIDIA AI 发布了一个基于数十亿跨模态样本训练的多模态预训练模型，旨在为开发者提供强大的基础模型，用于构建物理AI系统。该模型能显著减少所需的数据量和训练成本，使开发者能够更高效地开发机器人、自动驾驶等物理AI应用。NVIDIA 在技术博客中详细介绍了该模型的架构和性能优势。

AI模型 NVIDIA 多模态模型预训练模型

事件专题

推荐理由：做物理AI（如机器人、自动驾驶）的开发者终于有了一个强大的预训练基础，能大幅降低数据收集和训练成本，建议直接查看技术博客了解细节。

原文

5月25日

11:24

官方账号arXiv cs.LG@Lizhang Chen, Jonathan Li, Chen Liang, Ni Lao, Qiang Liu

精选

研究者提出了一种无需训练的循环Transformer方法，通过在推理时对冻结的预训练模型进行轻量级循环包装，无需微调或架构改动即可提升性能。该方法将Transformer块视为ODE的欧拉步，通过阻尼子步替代大步更新，避免了简单重复块导致的性能下降。在7个模型家族（包括密集、稀疏MoE和MLA+MoE）上验证有效，如Qwen3-4B-Instruct在MMLU-Pro上提升2.64个百分点，Qwen3-30B-A3B-Instruct在CommonsenseQA上提升1.14个百分点。该方法为利用现有模型提升推理能力提供了低成本方案。

论文循环Transformer 推理优化无需训练

推荐理由：这项研究让使用冻结模型的团队无需重新训练就能提升推理性能，做模型部署或推理优化的开发者值得关注，可以直接在现有模型上尝试。

原文

5月22日

11:41

官方一手arXiv: OpenAI@Alexander Smirnov

精选

论文 AI文本检测预训练模型典型性假说

推荐理由：这项研究戳破了AI文本检测的底层假设——检测器可能只是在放大预训练模型的偏见而非真正学习区分。做AI安全、内容审核或学术诚信检测的团队，看完会重新评估现有检测方案的有效性。

原文

5月12日

19:11

官方账号arXiv cs.AI@Yixuan Yang, Mehak Arora, Ryan Zhang, Baraa Abed, Junseob Kim, Tilendra Choudhary, Md Hassanuzzaman, Kevin Zhu, Ayman Ali, Chengkun Yang, Alasdair Edward Gent, Victor Moas, Rishikesan Kamaleswaran

Clin-JEPA 提出了一种多阶段联合训练框架，将 JEPA（联合嵌入预测）范式扩展到电子健康记录（EHR）数据。该框架通过五阶段预训练课程（预测器预热、联合精调、EMA目标对齐、硬同步和预测器最终化），稳定地共同训练 Qwen3-8B 编码器和 92M 参数潜在轨迹预测器。在 MIMIC-IV ICU 数据上，Clin-JEPA 实现了潜在ℓ₁展开漂移在 48 小时范围内收敛（-15.7%），而基线方法发散（+3% 到 +4951%）。编码器学习到临床可分辨的潜在几何结构（病情恶化患者与稳定患者的潜在距离比基线高 4.83 倍 vs ≤2.62 倍）。单一骨干网络在多任务下游评估中优于强基线，平均 AUROC 在 ICareFM EEP 上达到 0.851，8 个二元风险任务上达到 0.883（分别比基线平均高 0.038 和 0.041）。

论文医疗AI 预训练模型 EHR

推荐理由：该工作首次将 JEPA 范式成功应用于 EHR 轨迹建模，解决了联合训练不稳定和表示坍缩的关键问题，为医疗领域预训练大模型提供了一种高效且无需任务微调的方案。

原文