#掩码自编码器

共 2 条 · 7 天 0 条 · 30 天 1 条

6G 1 LoRA 1 SpecFormer 1 SpectraFM 1 Vision Transformer 1 WALoMA 1 无线基础模型 1 自监督学习 1

信息流里打上「掩码自编码器」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月28日

自监督学习用于极光光谱：1D ViT 掩码预训练超越专家特征与监督基线

用 22 万条极光光谱做掩码预训练，不用标签就超过专家手工特征和监督基线，还对比了 SpectraFM 和 SpecFormer 的可迁移性，做科学数据自监督的可以看看。

#自监督学习 #Vision Transformer #掩码自编码器 #SpectraFM

arXiv cs.LG@Matthieu Le Lain 等 3 人原文

7月29日

WALoMA：基于自适应低秩掩码自编码器的多任务无线基础模型

这篇论文搞了个WALoMA，能用一个模型处理6G多个无线任务，只用少量标注数据就拿到87.8%的平均分，比LWM高了近28个百分点，参数只训练了14%。

#WALoMA #6G #LoRA #无线基础模型

arXiv cs.LG@Madi Makin 等 4 人原文