Jul, 2022

基于网络同构和启发式的噪声模型神经架构搜索

PDF
TL;DR本文介绍了一种基于网络态势的神经结构搜索方法 - Noisy Heuristics NAS，该方法利用人工智能动态学中所学得的启发式算法和生物神经元的动态特性，通过添加和修剪神经元以及控制网络中隐含层数量的关系等元参数的方式，可以在线增加或减少神经网络模型的容量或非线性，进而实现对神经结构的扩展和优化。实验结果在 MNIST、CIFAR-10 和 CIFAR-100 等数据集上表现良好，并与手工构建的 ResNet-18 结构相当。
neural architecture searchnetwork morphismheuristicsneuron optimizationmeta-parameters
发现论文，激发创造
  • HM-NAS: 基于分层掩膜的高效神经架构搜索

    本文介绍了一种称为 HM-NAS 的高效神经结构搜索方法，它通过引入多级结构编码方案和自动学习的层次掩码方案来实现更加灵活、优化的高级神经网络结构搜索，相比现有的基于权重共享的方法，HM-NAS 在体系结构搜索性能和模型评估准确性方面都有了明显的提高。

    Aug, 2019

  • Auto-Keras: 一种高效的神经结构搜索系统

    本研究提出了一种新的框架，利用神经网络变形和贝叶斯优化，实现了高效的神经架构搜索，并基于此开发了 Auto-Keras 的开源 AutoML 系统，该系统在不同 GPU 内存限制下具有自适应的搜索策略和 CPU 和 GPU 并行运行的能力，实验结果表明，该方法的性能优于现有技术。

    Jun, 2018

  • 增强式进化神经架构搜索

    提出了一种名为 RE-NAS 的神经架构搜索方法，结合了进化算法和强化突变控制，成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet，并在移动 ImageNet 上取得了最新的最高准确率。

    Aug, 2018

  • BayesNAS: 一种用于神经结构搜索的贝叶斯方法

    本文采用经典的贝叶斯学习方法，利用分层自动相关决策（HARD）先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题，并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构，同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。

    May, 2019

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • HiveNAS: 人工蜂群优化神经架构搜索

    本文提出了基于人工蜂群的神经架构搜索框架 HiveNAS，旨在通过元启发式优化算法自动开发神经网络，弥补了神经网络开发过程中专业知识和直觉性调整的不足。

    Nov, 2022

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019

  • 无需训练的神经架构搜索

    本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

    Jun, 2020

  • 理解神经结构搜索技术

    研究自动化方法来生成最新的神经网络架构而无需人类专家，并探究解释可解性和记忆缓冲作为有效方法的影响。

    Mar, 2019