#预训练模型

共 13 条 · 7 天 0 条 · 30 天 2 条

AI系统 1 CM-PTM 1 DINOv2 1 MAI 1 Microsoft 1 Nemotron 3.5 Lightning 1 Qwen 1 Standard Bots 1

信息流里打上「预训练模型」标签的资讯、产品与论文，按刊登时间排，新的在上。

11月2日

论文11:15

CoFailMed 审计：11 个预训练编码器在医学分割中的相关性失效研究

这篇论文用 11 个编码器证明：多模型投票可能只是假冗余，四个模型有效规模不到三个。做医学分割集成的人该看看。

#医学图像分割 #DINOv2 #预训练模型 #模型评估

arXiv cs.AI@Eunseob Choi 等 4 人原文

10月16日

模型中美对照77°01:05

Microsoft MAI 公布 3T 参数自研预训练基座模型

微软 MAI 自研的 3 万亿参数基座模型曝光，后训练版本还在路上，想看微软怎么追 OpenAI 的可以蹲一下技术博客。

#MAI #Microsoft #基座模型 #预训练模型

Mustafa Suleyman@mustafasuleyman原文

10月11日

技巧 Agent 与开发者00:20

Standard Bots构建工业机器人AI系统

Standard Bots分享如何让工业机器人从演示学习并持续改进的实践经验。

#Standard Bots #工业机器人 #AI系统 #预训练模型

官方账号Latent Space (swyx)@Richard MacManus原文

9月19日

论文02:47

用预训练视频基础模型评估外科手术技能

朋友A发现了一个新方法，用视频基础模型直接评估手术视频，比传统方法快得多，还更便宜。

#视频生成 #外科手术 #预训练模型

npj Digital Medicine@Suvranu De原文

9月2日

论文09:37

跨多源行为预训练模型CM-PTM发布

CM-PTM模型解决了移动设备用户行为建模的跨源挑战，能更好捕捉用户兴趣，提升游戏推荐效果。

#CM-PTM #用户表示 #移动游戏 #预训练模型

arXiv cs.AI@Chengqi Yang 等 10 人原文

8月26日

产品中美对照00:04

模型与工具协同设计新版本发布

Arav Srinivas发布了新版本，支持更多模型，云边协同，值得一试。

#Qwen #Nemotron 3.5 Lightning #模型协同设计 #云边协同

Aravind Srinivas@AravSrinivas原文

7月10日

模型17:49

LingBot-VA 2.0 发布，全球首个具身原生预训炼模型

想要给机器人造更聪明的脑子？这个模型直接学物理世界数据，不用人工标注，操作成功率提高15%，还是开源的，值得关注。

#LingBot-VA 2.0 #具身智能 #预训练模型 #机器人

量子位@十三原文

6月28日

模型中美对照精选12:39

Google Research开源零样本时间序列模型TimesFM 2.5

Google搞了个时间序列神器TimesFM，零样本预测，参数200M一张GPU就能跑，还能在Google Sheets里用，pip install两行代码搞定，做预测的别错过。

#TimesFM #Google Research #时间序列预测 #预训练模型

berryxia@berryxia原文

6月23日

模型12:49

双学习匹配：十亿参数Transformer线性连通与合并

新方法让十亿参数Transformer通过双向学习实现线性合并，损失屏障极低，视觉和语言模型都验证有效。

#Linear Mode Connectivity #Transformer #模型合并 #双学习匹配

arXiv cs.LG@Tianyi Li, Zhiqiang Shen原文

6月1日

模型中美对照多源确认精选15:06

NVIDIA发布多模态预训练模型，降低物理AI开发门槛

做物理AI（如机器人、自动驾驶）的开发者终于有了一个强大的预训练基础，能大幅降低数据收集和训练成本，建议直接查看技术博客了解细节。

#NVIDIA #多模态模型 #预训练模型 #物理AI

事件专题

官方账号NVIDIA AI@NVIDIAAI原文

5月25日

论文精选11:24

无需训练的循环Transformer：冻结模型推理时循环提升性能

这项研究让使用冻结模型的团队无需重新训练就能提升推理性能，做模型部署或推理优化的开发者值得关注，可以直接在现有模型上尝试。

#循环Transformer #推理优化 #无需训练 #预训练模型

arXiv cs.LG@Lizhang Chen 等 5 人原文

5月22日

论文精选11:41

AI文本检测器放大预训练方向，而非学习人机边界

这项研究戳破了AI文本检测的底层假设——检测器可能只是在放大预训练模型的偏见而非真正学习区分。做AI安全、内容审核或学术诚信检测的团队，看完会重新评估现有检测方案的有效性。

#AI文本检测 #预训练模型 #典型性假说 #RoBERTa

arXiv: OpenAI@Alexander Smirnov原文

5月12日

论文19:11

Clin-JEPA: 多阶段联合嵌入预测预训练框架用于EHR患者轨迹建模

该工作首次将 JEPA 范式成功应用于 EHR 轨迹建模，解决了联合训练不稳定和表示坍缩的关键问题，为医疗领域预训练大模型提供了一种高效且无需任务微调的方案。

#医疗AI #预训练模型 #EHR #JEPA

arXiv cs.AI@Yixuan Yang 等 13 人原文