高效的神经结构进化算法(EENA)
通过将搜索空间转换为相互连接的单元,并顺序地搜索这些单元,然后对整个网络的上述搜索进行多次循环以减小先前单元对后续单元的影响,我们提出了 Multiple Population Alternate Evolution Neural Architecture Search(MPAE)这一新颖的神经网络架构搜索范式,并在迁移归档中建立出色的迁移档案,并将其中的优秀知识和经验传递给新的群体,从而加速种群进化过程,该方法仅需要 0.3 GPU 天即可在 CIFAR 数据集上搜索神经网络,并达到了最先进的结果。
Mar, 2024
ENAS 提出了高效神经架构搜索方法,使用控制器在大型计算图中发现神经网络架构,以优化子图为目标进行训练,利用共享子模型参数,使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍,设计出实现最新技术水平的新型结构。
Feb, 2018
本文提出了一种名为 FreeREA 的算法,利用基于细胞的演化神经网络结构搜索,结合训练 - 免度量化的方式,实现了在几分钟内快速鉴别神经网络模型,同时保留模型大小和计算要求,因此能够适用于在有限资源下使用的应用。实验结果表明,FreeREA 可以在各种数据集和基准测试中优于现有的基于训练 / 免训练技术的技术,并能在约束的情况下扩展到通用神经结构搜索,从而为快速的神经结构搜索提供了一种有竞争力的解决方案。
Jun, 2022
该论文提出了一种名为 GEA 的新型引导神经结构搜索方法,该方法使用零代理估计器在每个代际初始化阶段生成和评估多个架构,然后从现有架构生成多个后代并同时驱动探索和剪枝,结果表明 GEA 在多个数据集上都取得了最先进的结果。
Jul, 2022
本文介绍了一种基于层次遗传表征和复杂拓扑的新颖神经体系结构搜索方法,该方法能够高效地发现优于许多手动设计模型的分类器,同时该方法通过随机搜索得到了更高的准确度并将搜索时间缩短至 1 小时。
Nov, 2017
我们提出了一种基于叠加单元的神经网络结构搜索的两阶段进化方法(TS-ENAS),包括基于堆叠单元的一阶段搜索和对这些单元进行调整的二阶段。在算法中,我们设计了一种新的基于单元的搜索空间和一种有效的两阶段编码方法来表示单元和神经网络结构。此外,我们设计了一种基于单元的权重继承策略来初始化网络的权重,这显著减少了算法的运行时间。我们在四个图像分类数据集 Fashion-MNIST、CIFAR10、CIFAR100 和 ImageNet 上对所提出的方法进行了广泛的测试和比较,并与包括手工设计网络和 NAS 网络在内的 22 个最新算法进行了比较。实验结果表明,TS-ENAS 能更有效地找到性能相当的神经网络结构。
Oct, 2023
该论文提出了一种通用的异步评估策略 (AES),并将其适应于 Evolutionary neural architecture search (ENAS),通过维护一个队列,以便在工人进行评估后尽快进入下一代,从而提高了吞吐量,并在多个问题中观察到了多倍性能改善。
Aug, 2023
本论文提出一种高效的连续演化方法用于搜索神经网络,该方法在优化神经网络的同时,使用优化后的神经网络在下一次的演化中,大大地加速了网络生成的效率。实验表明,该方法产生的神经网络在 mobile 设置下,参数数量在 3.7M 到 5.1M 之间不等,在 ImageNet 数据集上的表现超过了目前已有的先进方法。
Sep, 2019
提出了一种名为 RE-NAS 的神经架构搜索方法,结合了进化算法和强化突变控制,成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet,并在移动 ImageNet 上取得了最新的最高准确率。
Aug, 2018
本论文提出了一种基于连续优化的自动神经架构设计方法,使用编码器、预测器和解码器组成的方法在连续空间中进行梯度优化,通过将较好的嵌入解码成新的架构,最终实现在 CIFAR-10 和 PTB 数据集上高效发现神经网络,并与之前的方法相比实现了较好的效果。
Aug, 2018