Mar, 2024

多种人群交替进化神经架构搜索

PDF
TL;DR通过将搜索空间转换为相互连接的单元，并顺序地搜索这些单元，然后对整个网络的上述搜索进行多次循环以减小先前单元对后续单元的影响，我们提出了 Multiple Population Alternate Evolution Neural Architecture Search（MPAE）这一新颖的神经网络架构搜索范式，并在迁移归档中建立出色的迁移档案，并将其中的优秀知识和经验传递给新的群体，从而加速种群进化过程，该方法仅需要 0.3 GPU 天即可在 CIFAR 数据集上搜索神经网络，并达到了最先进的结果。
发现论文，激发创造
  • 高效的神经结构进化算法（EENA）

    本文介绍了一种称为 EENA 的有效神经体系结构搜索方法，该方法通过精心设计的变异和交叉操作进行演化，可以在较少的计算资源下，显著降低搜索和训练时间，并设计出在 CIFAR-10 数据集上效果显著的神经体系结构。

    May, 2019

  • 深度神经网络架构的异步演化

    该论文提出了一种通用的异步评估策略 (AES)，并将其适应于 Evolutionary neural architecture search (ENAS)，通过维护一个队列，以便在工人进行评估后尽快进入下一代，从而提高了吞吐量，并在多个问题中观察到了多倍性能改善。

    Aug, 2023

  • NPENAS: 神经预测引导的神经结构搜索

    本文介绍一种基于神经预测器的进化算法（NPENAS）用于增强 NAS 的探索能力，设计了两种神经预测器，其中一种是基于贝叶斯优化的不确定性估计网络，另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明，使用这种方法的 NPENAS 优于大多数现有的 NAS 算法.

    Mar, 2020

  • 通过多样性引导的搜索空间缩减进行一次性神经集成架构搜索

    通过提出一种一次性神经集成架构搜索解决方案，该方法使用多样的模型来提高模型的泛化能力和性能，并在 ImageNet 数据集上进行了测试，并与 MobileNetV3 和 EfficientNet 家族进行了比较，证明其在性能和泛化能力方面优于其他算法。

    Apr, 2021

  • TS-ENAS: 基于细胞的网络架构搜索的两阶段演化

    我们提出了一种基于叠加单元的神经网络结构搜索的两阶段进化方法（TS-ENAS），包括基于堆叠单元的一阶段搜索和对这些单元进行调整的二阶段。在算法中，我们设计了一种新的基于单元的搜索空间和一种有效的两阶段编码方法来表示单元和神经网络结构。此外，我们设计了一种基于单元的权重继承策略来初始化网络的权重，这显著减少了算法的运行时间。我们在四个图像分类数据集 Fashion-MNIST、CIFAR10、CIFAR100 和 ImageNet 上对所提出的方法进行了广泛的测试和比较，并与包括手工设计网络和 NAS 网络在内的 22 个最新算法进行了比较。实验结果表明，TS-ENAS 能更有效地找到性能相当的神经网络结构。

    Oct, 2023

  • 通过参数共享实现高效神经架构搜索

    ENAS 提出了高效神经架构搜索方法，使用控制器在大型计算图中发现神经网络架构，以优化子图为目标进行训练，利用共享子模型参数，使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍，设计出实现最新技术水平的新型结构。

    Feb, 2018

  • 神经结构搜索的演化搜索空间

    通过维护一个优化的搜索空间子集的神经搜索空间演化（NSE）方案，引入可学习的多分支设置，实现了神经架构设计的自动化和优化，以在 ImageNet 上实现优异的表现和响应延迟限制。

    Nov, 2020

  • 高效渐进式神经结构搜索

    该研究提出了一种名为 EPNAS（高效渐进的神经结构搜索）的神经结构搜索方法，它通过一种新的渐进搜索策略和基于 REINFORCE 的性能预测有效地处理大型搜索空间。EPNAS 被设计成能够在并行系统（如 GPU/TPU 集群）上并行搜索目标网络。该方法还可以推广到具有多个资源限制的体系结构搜索，这对于在移动设备和云平台等广泛平台上进行部署非常重要。在使用 CIFAR10 和 ImageNet 进行图像识别任务时，该方法在架构搜索速度和识别准确性方面均优于先进的网络结构和高效的 NAS 算法。

    Jul, 2019

  • 引导进化神经网络架构搜索与高效性能估计

    该论文提出了一种名为 GEA 的新型引导神经结构搜索方法，该方法使用零代理估计器在每个代际初始化阶段生成和评估多个架构，然后从现有架构生成多个后代并同时驱动探索和剪枝，结果表明 GEA 在多个数据集上都取得了最先进的结果。

    Jul, 2022

  • 增强式进化神经架构搜索

    提出了一种名为 RE-NAS 的神经架构搜索方法，结合了进化算法和强化突变控制，成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet，并在移动 ImageNet 上取得了最新的最高准确率。

    Aug, 2018