Auto-Keras: 一种高效的神经结构搜索系统
本文介绍了一种基于网络态势的神经结构搜索方法 - Noisy Heuristics NAS,该方法利用人工智能动态学中所学得的启发式算法和生物神经元的动态特性,通过添加和修剪神经元以及控制网络中隐含层数量的关系等元参数的方式,可以在线增加或减少神经网络模型的容量或非线性,进而实现对神经结构的扩展和优化。实验结果在 MNIST、CIFAR-10 和 CIFAR-100 等数据集上表现良好,并与手工构建的 ResNet-18 结构相当。
Jul, 2022
本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题,同时提出了一种新的、层次化和基于图形的搜索空间,实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略,该方法有效地扩展了有效架构的范围,促进了多目标学习方法的发展, 并在六个基准数据集上进行了验证,在生成轻量级且高度竞争的模型方面表现出了有效性。
Apr, 2020
本文研究了基于神经架构搜索(NAS)的自动机器学习(AutoML)在计算机视觉以外的任务上的应用,作者提出了一种名为 DASH 的不同 iable NAS 算法,用于搜索卷积神经网络(CNN)的卷积核,实现了在多种应用领域上最先进的自动化性能。
Apr, 2022
本文提出了一个自动且高效地从预训练的超网络中找到针对不同性能度量和硬件配置进行优化的子网络的综合系统,在多个领域中与现有最先进的超网络训练方法无缝配合,展示了如何将新颖的搜索策略与演化算法相结合,加速 ResNet50、MobileNetV3 和 Transformer 的搜索过程,并展示了比最先进的贝叶斯优化 WeakNAS 方法快 8 倍的搜索结果。
Feb, 2022
本研究使用网络激活度重叠的方式实现预测神经网络的训练精度,并将其应用于神经结构搜索,以实现在单个 GPU 上进行快速网络搜索。同时,我们还提出了一种基于正则化进化搜索的适应方法,以进一步提高搜索效率。
Jun, 2020
本文提出了一种半监督评估神经架构的方法,使用自编码器发现神经架构的有意义的表示,并利用图卷积神经网络来预测它们的性能,以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验,证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。
May, 2020
本文介绍一种基于神经预测器的进化算法(NPENAS)用于增强 NAS 的探索能力,设计了两种神经预测器,其中一种是基于贝叶斯优化的不确定性估计网络,另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明,使用这种方法的 NPENAS 优于大多数现有的 NAS 算法.
Mar, 2020
本文采用经典的贝叶斯学习方法,利用分层自动相关决策(HARD)先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题,并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构,同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。
May, 2019
提出了一种名为 RE-NAS 的神经架构搜索方法,结合了进化算法和强化突变控制,成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet,并在移动 ImageNet 上取得了最新的最高准确率。
Aug, 2018