Jul, 2023

缩放扰动改进种群训练期间的神经架构搜索中的架构混合

HTML
PDF
TL;DR通过同时训练和混合神经网络，我们展示了神经架构搜索中同时训练和混合神经网络是一种有前景的方法。我们提出了PBT-NAS，将PBT算法适应到NAS中，在训练过程中通过将表现较差的网络替换为混合表现较好网络的结果，并使用收缩扰动技术继承权重来改进架构。PBT-NAS具有高度可并行化和有效性：在挑战性任务（图像生成和强化学习）上，与基准（随机搜索和基于突变的PBT）相比，PBT-NAS实现了更优越的性能。
发现论文，激发创造
  • 神经网络的种群式训练

    本文提出了Population Based Training算法，该算法通过优化神经网络模型和超参数的选择，以最大化模型性能，并自动发现超参数的调整进度表以及模型选择。该算法在深度强化学习领域得到了成功的应用。

    Nov, 2017

  • 神经架构搜索的随机搜索与可复现性

    本文介绍了一种基于随机搜索和超参数优化的神经架构搜索方法，并探讨了该领域中已有的研究成果的可重复性问题。研究结果表明，该方法在两个标准的NAS基准测试中表现出色，并且可以复现。

    Feb, 2019

  • 通过近端迭代实现高效神经网络架构搜索

    本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法（称为NASP），其通过将搜索过程重新构成为一个优化问题，并在前向和反向传播期间仅允许更新一个操作的约束条件下，以10倍于DARTS方法的计算时间加速获得高性能的架构。

    May, 2019

  • BANANAS: 基于神经架构的贝叶斯优化神经结构搜索

    本文通过先识别出五个主要组成部分：架构编码、神经预测器、不确定性校准方法、采集函数和采集优化策略，对“BO+神经预测器”框架进行彻底分析。在每个部件中测试了几种不同的方法，并且还开发了一种新的基于路径的编码方案。最终我们提出了一个名为BANANAS的算法，它在NAS搜索空间中实现了最先进的性能。

    Oct, 2019

  • Progressive DARTS: 在野外框架中弥合 NAS 的优化差距

    本篇论文提出了一种名为P-DARTS的算法来解决神经网络架构搜索中的 transfer learning 问题，并在 CIFAR10 数据集以及几个目标问题（包括 ImageNet分类，COCO检测和三个 ReID benchmarks）上实现了更好的性能。

    Dec, 2019

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索(NAS)看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • 基于渐变的训练免费神经结构搜索的统一和增强

    本文提出了一个统一的理论分析框架来研究基于梯度的免训练神经构架搜索方法，从而理论上研究它们之间的关系、保证它们的泛化性能并开发一种名为Hybrid NAS(HNAS)的新框架，它在原则上可以持续提高训练免费NAS的效果。

    Jan, 2022

  • SpiderNet: 基于无需训练的度量的混合可微进化架构搜索

    本文提出SpiderNet，它是一个混合的可微分进化和硬件感知算法，可以快速高效地生成最先进的网络，媲美现有最佳模型，超越了随机搜索在准确性、运行时间、内存大小和参数数量等方面的表现。

    Apr, 2022

  • POPNASv2: 高效的多目标神经结构搜索技术

    本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv2) 方法，该方法在原有的基础上进行了改进，通过加入新操作符、改进预测模型、引入细胞等价检查机制以及自适应贪心探索策略等方法，实现了 PNAS 相似的性能，同时平均搜索时间快了4倍。

    Oct, 2022

  • GPT-NAS: 采用生成式预训练模型进行神经架构搜索

    GPT-NAS是一种基于预训练模型的神经结构搜索算法，通过引入先验知识来大大减少搜索空间，从而优化神经网络架构，并在实验中取得了比其他七个手动设计的神经结构和竞争NAS方法提供的13个神经结构的好结果，并提高了经过精细调整的神经结构的性能。

    May, 2023