NSGANetV2: 进化多目标代理辅助神经架构搜索
本文介绍了 NSGA-Net,一种多目标优化的神经架构搜索算法,它通过使用前人先验知识,遗传算法(交叉和突变)以及贝叶斯网络等方式实现了对潜在神经网络结构的高效探索,从而找到一组多样的交换网络体系结构,并在 CIFAR-10 数据集上取得了与当前最先进的 NAS 方法相媲美的性能。
Oct, 2018
本文介绍了一种基于神经架构搜索(NAS)的新方法,称为神经架构传递(NAT),该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中,以快速生成适用于多个应用场景的任务特定定制模型,并在 11 项基准图像分类任务中证明了其有效性。
May, 2020
本文提出了具有可证明收敛保证的生成式对抗网络 NAS (GA-NAS),并基于权重的鉴别器提供的奖励,采用增强学习训练生成器,探索搜寻空间而无需评估大量体系结构,通过三个公共 NAS 基准测试,在多个情况下 GA-NAS 都能打败已发布的最佳结果,同时 GA-NAS 可以处理特定搜寻约束和空间,能用于改进其他 NAS 方法找到的优化基线的 ImageNet 准确性或参数数量。
May, 2021
本文介绍了一项有关 AutoGAN 的初步研究,这是将神经架构搜索算法引入生成对抗网络中的首个尝试。通过使用 RNN 控制器来引导搜索生成器构架的变化,实验结果验证了 AutoGAN 在无条件图像生成任务中的有效性,并与当前最先进的手工制作的 GANs 相比,取得了高竞争性的表现。
Aug, 2019
本文提出 NetAdaptV2,通过三项创新工作平衡各个步骤的时间并支持非可微分搜索指标,进而加速神经结构搜索并提高神经网络性能。
Mar, 2021
本文提出了一种高效的神经架构搜索(Neural Architecture Search, NAS)框架,基于元学习的跨模态潜空间,结合预训练的网络库和数据库,可以快速地为新数据集搜索神经架构,并且还提出了一种元性能预测器来从多个未见数据集中预估和选择最佳的神经架构。实验结果表明,该模型受过 ImageNet-1K 的元学习并结合 NAS-Bench 201 搜索空间的神经架构,在包括 CIFAR-10 和 CIFAR-100 等多个未见数据集上成功泛化,平均搜索时间为 33 GPU 秒,即使在 MobileNetV3 搜索空间下,它比具有相似性能的可转移 NAS 方法 NSGANetV2 快 5.5K 倍。我们认为这为快速 NAS 和利用累积多年的数据集和架构的知识提出了新的研究方向。
Jul, 2021
本文提出一种基于多目标进化策略的两阶段神经结构搜索方法 (EAGAN),旨在稳定生成对抗网络(GANs)的训练过程以提高图像生成性能,实验结果表明其有效性。
Nov, 2021
基于多目标进化算法的循环神经网络架构搜索方法在复杂度优化期间使用近似网络形态学,结果显示该方法能够找到与最先进手动设计的循环神经网络架构相比具有可比性能但计算需求较低的新型循环神经网络架构。
Mar, 2024
本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题,同时提出了一种新的、层次化和基于图形的搜索空间,实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略,该方法有效地扩展了有效架构的范围,促进了多目标学习方法的发展, 并在六个基准数据集上进行了验证,在生成轻量级且高度竞争的模型方面表现出了有效性。
Apr, 2020
本文提出了 NATv2,它是一种改进的神经结构搜索算法,能够改善超网络结构的生成和抽取子网络的性能,并引入精调的后处理流水线,成功地提高了 NAT 的质量,因此在使用最少的参数研究高性能结构时是高度推荐的。
Jul, 2023