AITOPAI热报

ImageNet-1K

共 5 条相关 AI 资讯
8月28日
17:58
17:58官方账号arXiv cs.AI@Lukas Kuhn, Lucas Maes, Giuseppe Serra, Quentin Le Lidec, Yann LeCun, Randall Balestriero, Florian Buettner
精选73°
LeVJEPA是首个基于LeJEPA无崩溃目标训练的视频编码器，仅需一个编码器和投影器。在相同数据下，LeVJEPA在ViT-S/B/L模型上比V-JEPA 2节省5.6至20.8倍预训练计算量，在ImageNet-1K上比最强视频基线高7.6分。采用块因果注意力训练后，LeVJEPA在运动相关基准上的准确率接近DINOv2的两倍。
论文LeVJEPAV-JEPA视频预训练
推荐理由：LeVJEPA用简单架构实现视频预训练，大幅降低计算量，在图像和运动任务上都表现出色。
原文
8月3日
09:44
7月30日
09:26
09:26官方账号arXiv cs.LG@Fengming Yu, Haiwei Pan, Kejia Zhang, Chunling Chen, Jian Guan, Baoying Ma
CoCaRS 提出一种基于相关校准的冗余抑制方法，用于解决异构知识蒸馏中教师和学生模型架构差异导致的表示不一致问题。该方法通过混淆证据估计和强度分配控制校准特征去相关，并采用自适应系数调节降低对超参数的敏感性。在 CIFAR-100 和 ImageNet-1K 上的实验验证了 CoCaRS 能提升蒸馏性能并减少系数设置敏感度。
论文CoCaRS知识蒸馏异构知识蒸馏
推荐理由：想提升异构模型蒸馏效果？CoCaRS 用三种新模块解决特征冗余和系数敏感问题，实验在 CIFAR-100 和 ImageNet-1K 上表现更好。
原文
7月29日
11:34
6月17日
11:39
11:39官方账号arXiv cs.LG@Trisha Mittal, Akshay Mehra, Joshua Kimball
这篇论文基于ImageNet-1K、ImageNet100和ImageNette三个数据集，采用三种训练协议，对七种最新数据集蒸馏（DD）方法与三种核心集选择（CS）策略进行了标准化对比。实验发现，部分DD方法甚至不如随机子集，而最先进的DD方法在大规模数据集上表现与核心集相当或更差。DD方法的构建成本显著高于CS。此外，核心集在数据分布覆盖、代表性和多样性上始终优于蒸馏集。
论文Dataset DistillationCoreset SelectionImageNet-1K
推荐理由：想用数据集蒸馏来压缩训练集？这篇论文告诉你，现有DD方法在ImageNet上不比随机选子集好，还更贵，不如直接用核心集。
原文