神经架构搜索相关 AI 资讯 · AITOP · AI热报

8月17日

10:21

10:21

官方账号arXiv cs.AI@Abhishek Shukla, Ankur Sinha, Faiz Hamid

该论文提出一个通用的双层优化框架，用于在MLP、CNN、RNN和Transformer等架构中搜索紧凑网络。三种可扩展方法分别基于神经元门控（NAS-NG）、混合激活（NAS-MA）及两者结合（NAS-NGMA），将离散决策转化为连续松弛。在MNIST上，NAS-NGMA达到98.68%测试准确率，MLP参数为7.69M；NAS-NG以0.26M CNN参数取得99.63%准确率。在CIFAR-10上，所提方法始终优于vanilla DARTS。实验还显示NAS-NG能优化过度参数化架构，在提升准确率的同时减少参数。

论文神经架构搜索 Neuron Gating Mixed Activation

推荐理由：这篇论文用可微优化替代离散搜索，Neuron Gating和Mixed Activation找紧凑网络，MNIST上0.26M参数就达99.63%准确率，比DARTS表现更好。

7月31日

11:27

11:27

官方账号arXiv cs.LG@Edoardo Ragusa, Giovanni Paolo Canuti, Simone Lugani, Rodolfo Zunino, Paolo Gastaldo

论文提出两种方法，利用RGB-D数据在小型深度网络中整合深度信息，包括重构的硬件感知神经架构搜索和专用微调流程。两个真实世界数据集上的实验显示，多数生成的解决方案能识别Pareto最优前沿，平衡泛化性能和硬件要求。原型采用Jetson Nano和RealSense RGB-D相机，整体能耗与智能手机电池兼容，可实现实时性能。

论文 Jetson Nano RealSense RGB-D

推荐理由：论文给嵌入式设备上的可供性分割提供了新思路，用Jetson Nano和RealSense做出实时方案，能耗跟手机电池差不多，比同类tiny方法更能处理复杂场景。

7月14日

12:10

12:10

官方账号arXiv cs.LG@Romain Amigon

该论文提出了一种结合自回归Transformer控制器（强化学习训练）和人工蜂群算法（ABC）的混合NAS框架，可在消费级GPU（NVIDIA RTX 3060）上运行。在CIFAR-10数据集中，该方法用3小时搜索到参数量约17.4万的架构，达到84.85%准确率，规模和搜索成本均低于ResNet-20。在信用卡欺诈检测任务上，优化F1-Score达到0.71，模型仅需约4600参数。该框架解决了元启发式方法的冷启动问题，并通过深度惩罚抑制模型臃肿。

论文 NAS Transformer 神经架构搜索

推荐理由：这篇论文告诉你，不用几千GPU天也能搜出好架构，普通3060显卡3小时就能找到比ResNet-20更小的CIFAR-10模型，还能直接优化欺诈检测的F1分数。