AITOPAI热报

ImageNet-100

共 3 条相关 AI 资讯
8月27日
11:12
11:12官方账号arXiv cs.LG@Xu Zhang, Ren Wang
精选
Robust CurveMoE 提出了一种高效的混合专家模型框架，通过低损失路径连接针对不同扰动范数的模型，并利用模型沿此路径的互补鲁棒性配置。在 CIFAR-100 和 ImageNet-100 数据集上，与 MSD 和 ERMC 相比，Robust CurveMoE 在干净、规范特定和联合准确率方面持续改进，特别是在 CIFAR-100 和 ImageNet-100 上分别提高了 2.37 和 2.13 个百分点的联合准确率。
AI模型Robust CurveMoE混合专家模型鲁棒性
推荐理由：Robust CurveMoE 在 CIFAR-100 和 ImageNet-100 数据集上显著提升了混合专家模型的鲁棒性，比最强基线提高了 2.37% 和 2.13% 的联合准确率，值得一试。
原文
6月18日
11:13
11:13官方账号arXiv cs.LG@Kaustubh Kapil, Kishor P. Upla
研究者提出Transformer Geometry Observatory (TGO) 系统框架，用于探索视觉Transformer的表征几何与动力学。TGO-I聚焦光谱几何，使用ViT-Small/16模型在ImageNet-100上训练，分析有效秩、稳定秩、参与比、光谱熵、光谱平坦度、光谱各向异性等指标。结果发现训练中维度利用率持续增加，各向异性降低，光谱熵和参与比上升，特征谱趋于平坦。与直觉相反，方差在表征维度上再分配，CLS token表征展现出最高有效维度和最低各向异性。
论文Vision TransformersViT表征几何
推荐理由：这篇论文用TGO框架搞清楚了ViT的维度在训练中怎么变化——不是集中而是越来越分散，尤其CLS token最明显，对理解视觉Transformer内部机制很有参考价值。
原文
6月16日
11:44