Mar, 2024

ECToNAS：进化交叉拓扑神经架构搜索

PDF
TL;DRECToNAS 是一种成本效益高的进化交叉拓扑神经架构搜索算法，它不需要任何预训练元控制器。该框架能够为不同的任务和超参数设置选择适当的网络架构，在需要时独立进行交叉拓扑优化。这是一种将训练和拓扑优化融合为一个轻量级、资源友好的过程的混合方法。我们通过六个标准数据集（CIFAR-10，CIFAR-100，EuroSAT，Fashion MNIST，MNIST，SVHN）展示了这种方法的有效性和能力，展示了该算法不仅能够优化同一种架构类型内的拓扑，还能够在需要的时候动态添加和删除卷积单元，从而跨越不同网络类型的边界。这使得没有机器学习背景的研究人员能够利用合适的模型类型和拓扑，在其领域应用机器学习方法，使用一种计算成本低、易于使用的交叉拓扑神经架构搜索框架，完全将拓扑优化嵌入到训练过程中。
ectonasneural architecture searchtopology optimisationhybrid approachcross-topology optimisation
发现论文，激发创造
  • 高效的神经结构进化算法（EENA）

    本文介绍了一种称为 EENA 的有效神经体系结构搜索方法，该方法通过精心设计的变异和交叉操作进行演化，可以在较少的计算资源下，显著降低搜索和训练时间，并设计出在 CIFAR-10 数据集上效果显著的神经体系结构。

    May, 2019

  • TS-ENAS: 基于细胞的网络架构搜索的两阶段演化

    我们提出了一种基于叠加单元的神经网络结构搜索的两阶段进化方法（TS-ENAS），包括基于堆叠单元的一阶段搜索和对这些单元进行调整的二阶段。在算法中，我们设计了一种新的基于单元的搜索空间和一种有效的两阶段编码方法来表示单元和神经网络结构。此外，我们设计了一种基于单元的权重继承策略来初始化网络的权重，这显著减少了算法的运行时间。我们在四个图像分类数据集 Fashion-MNIST、CIFAR10、CIFAR100 和 ImageNet 上对所提出的方法进行了广泛的测试和比较，并与包括手工设计网络和 NAS 网络在内的 22 个最新算法进行了比较。实验结果表明，TS-ENAS 能更有效地找到性能相当的神经网络结构。

    Oct, 2023

  • 通过参数共享实现高效神经架构搜索

    ENAS 提出了高效神经架构搜索方法，使用控制器在大型计算图中发现神经网络架构，以优化子图为目标进行训练，利用共享子模型参数，使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍，设计出实现最新技术水平的新型结构。

    Feb, 2018

  • 自动图拓扑感知变形器

    本研究提出了一种进化图变换器架构搜索框架（EGTAS），以自动化构建强大的图变换器。EGTAS 在宏观层面上演化图变换器的拓扑结构，在微观层面上演化图感知策略，并提出了基于通用编码的替代模型，以直接预测图变换器的性能，在降低演化搜索评估成本的同时构建与手动和自动基准相媲美的高性能架构。

    May, 2024

  • CARS：高效神经结构搜索的不间断进化

    本论文提出一种高效的连续演化方法用于搜索神经网络，该方法在优化神经网络的同时，使用优化后的神经网络在下一次的演化中，大大地加速了网络生成的效率。实验表明，该方法产生的神经网络在 mobile 设置下，参数数量在 3.7M 到 5.1M 之间不等，在 ImageNet 数据集上的表现超过了目前已有的先进方法。

    Sep, 2019

  • 演化神经架构搜索综述

    本文系统地综述了 200 多篇最新基于进化计算的 NAS 算法，分析了其设计原理和未来研究方向。

    Aug, 2020

  • 高效架构搜索的层次化表示

    本文介绍了一种基于层次遗传表征和复杂拓扑的新颖神经体系结构搜索方法，该方法能够高效地发现优于许多手动设计模型的分类器，同时该方法通过随机搜索得到了更高的准确度并将搜索时间缩短至 1 小时。

    Nov, 2017

  • 增强式进化神经架构搜索

    提出了一种名为 RE-NAS 的神经架构搜索方法，结合了进化算法和强化突变控制，成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet，并在移动 ImageNet 上取得了最新的最高准确率。

    Aug, 2018

  • 高效渐进式神经结构搜索

    该研究提出了一种名为 EPNAS（高效渐进的神经结构搜索）的神经结构搜索方法，它通过一种新的渐进搜索策略和基于 REINFORCE 的性能预测有效地处理大型搜索空间。EPNAS 被设计成能够在并行系统（如 GPU/TPU 集群）上并行搜索目标网络。该方法还可以推广到具有多个资源限制的体系结构搜索，这对于在移动设备和云平台等广泛平台上进行部署非常重要。在使用 CIFAR10 和 ImageNet 进行图像识别任务时，该方法在架构搜索速度和识别准确性方面均优于先进的网络结构和高效的 NAS 算法。

    Jul, 2019

  • 用进化功能化的人工神经网络

    提出了一种基于张量微积分和拟达尔文机制的混合模型，用于寻找适合于策略、控制和模式识别任务的拓扑结构，并且能够在早期演化阶段提供适应的拓扑结构，从而在机器人，大数据和人工生命等领域得到应用。

    May, 2022