理解神经结构搜索技术
ENAS 提出了高效神经架构搜索方法,使用控制器在大型计算图中发现神经网络架构,以优化子图为目标进行训练,利用共享子模型参数,使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍,设计出实现最新技术水平的新型结构。
Feb, 2018
本研究使用网络激活度重叠的方式实现预测神经网络的训练精度,并将其应用于神经结构搜索,以实现在单个 GPU 上进行快速网络搜索。同时,我们还提出了一种基于正则化进化搜索的适应方法,以进一步提高搜索效率。
Jun, 2020
本篇论文研究了神经架构搜索中搜索策略的有效性,并比较了 NAS 搜索策略与随机体系结构选择的质量,发现当前优秀的 NAS 算法与随机策略表现相似,并且广泛使用的权重共享策略降低了 NAS 候选项的排名。通过该研究,期望设计出更为优越的 NAS 策略和创造一一种新的评估框架。
Feb, 2019
本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题,同时提出了一种新的、层次化和基于图形的搜索空间,实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略,该方法有效地扩展了有效架构的范围,促进了多目标学习方法的发展, 并在六个基准数据集上进行了验证,在生成轻量级且高度竞争的模型方面表现出了有效性。
Apr, 2020
本文介绍了一种称为 HM-NAS 的高效神经结构搜索方法,它通过引入多级结构编码方案和自动学习的层次掩码方案来实现更加灵活、优化的高级神经网络结构搜索,相比现有的基于权重共享的方法,HM-NAS 在体系结构搜索性能和模型评估准确性方面都有了明显的提高。
Aug, 2019
本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络,结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似,引出了有多少搜索空间维度实际上与问题相关的问题。
Jul, 2020
提出了一种名为 RE-NAS 的神经架构搜索方法,结合了进化算法和强化突变控制,成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet,并在移动 ImageNet 上取得了最新的最高准确率。
Aug, 2018
过去十年,深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向,已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术,并介绍了基准、最佳实践、其他综述和开放源代码库。
Jan, 2023
本文提出了一种半监督评估神经架构的方法,使用自编码器发现神经架构的有意义的表示,并利用图卷积神经网络来预测它们的性能,以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验,证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。
May, 2020
该论文综述了当前关于硬件感知神经架构搜索的研究,包括搜索空间,搜索策略,加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂,导致在 IoT,移动和嵌入式系统等资源受限的平台上部署困难的问题,并讨论了相关算法及策略的挑战和局限性,同时为未来的研究提供参考,这是首篇针对硬件感知神经架构搜索的论文综述。
Jan, 2021