通过多样性引导的搜索空间缩减进行一次性神经集成架构搜索
本文提出了 AdaNAS 算法,利用集成技术将神经网络组合成一组小型神经网络集合,并采用基于知识蒸馏的新技术,迭代地训练小型神经网络,取得了 CIFAR-10 数据集中可比较的结果和 CIFAR-100 数据集中的最佳结果。
Mar, 2019
本文提出一种迭代学习方法,旨在解决神经架构搜索中的元学习问题。该方法使用参数共享思想,利用代理模型来减少 NAS 运行时间,并在 DARTs 搜索空间和 NAS-Bench-201 上验证了其可行性。此外,作者还提供了理论分析及脱敏研究以进一步深入了解其技术。
Jun, 2019
通过将搜索空间转换为相互连接的单元,并顺序地搜索这些单元,然后对整个网络的上述搜索进行多次循环以减小先前单元对后续单元的影响,我们提出了 Multiple Population Alternate Evolution Neural Architecture Search(MPAE)这一新颖的神经网络架构搜索范式,并在迁移归档中建立出色的迁移档案,并将其中的优秀知识和经验传递给新的群体,从而加速种群进化过程,该方法仅需要 0.3 GPU 天即可在 CIFAR 数据集上搜索神经网络,并达到了最先进的结果。
Mar, 2024
本论文旨在将神经架构搜索的问题从单路径和多路径搜索扩大到自动混合路径搜索。我们提出了一种新的连续架构表示方法,利用稀疏超网络和稀疏性约束来实现自动混合路径搜索。同时,我们采用了分层加速的近端梯度算法来优化所提出的稀疏超网络,并在卷积神经网络和循环神经网络搜索中进行了广泛的实验,证明了该方法能够搜索到紧凑、通用和强大的神经结构。
Jul, 2020
本文介绍一种名为 NESBS 的新型神经集成搜索算法,可从 NAS 搜索空间中有效且高效地选择表现优秀的神经网络集成,具有在实践中优于 NAS 算法的性能表现,而且与同类算法相比成本相当。
Sep, 2021
本文介绍了一种使用简化的超网络进行单路径神经架构搜索的方法,该方法易于训练、快速搜索、灵活支持不同的搜索约束,并在大规模数据集 ImageNet 上实现了最先进的性能。
Mar, 2019
本文提出两种构建神经网络集合的方法,使用不同的体系结构,以细化预测结果并利用架构变化作为集合的差异性的来源,并在多个分类任务和现代架构搜索空间方面表现优于深度集成。
Jun, 2020
该研究提出了 few-shot NAS,利用多个超级网络(称为子超级网络)覆盖搜索空间的不同区域,以缓解操作之间的不良共适应,并证明其在多项任务中能够显著提高各种一次性方法的准确性,包括在 NasBench-201 和 NasBench1-shot-1 上的 3 个不同任务中的 4 个基于梯度的和 6 个基于搜索的方法,并在 ImageNet、CIFAR10 和 Auto-GAN 上取得最新水平。
Jun, 2020
本文提出一种可微分的网络架构搜索方法,使用集成 Gumbel-Softmax 估算器优化深度网络的构架和参数以实现同时保证高效和有效性的目标。实验证明,该方法可以高效地发现高性能 架构。
May, 2019
该研究提出了一种基于元卷积核的高效神经架构搜索策略,通过直接编码超级网络来缩小多个卷积核选项,从而在减少中间特征存储内存和资源预算的同时,实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率,超过了 EfficientNet 和 MobileNetV3,并且与最先进的 NAS 方法相比,在相同的计算预算下速度还快了三个数量级。
Dec, 2019