ICLRJun, 2020

利用 Weisfeiler-Lehman 核的贝叶斯优化进行可解释的神经结构搜索

PDF
TL;DR本文提出一种基于贝叶斯优化的神经架构搜索方法，结合 Weisfeiler-Lehman 图内核和高斯过程代理，在高效，可扩展的数据条件下寻找拓扑结构和对神经网络性能的有益特征进行优化和发现。并且在闭合和开放领域的搜索空间中，表现优于现有的 NAS 方法。
发现论文，激发创造
  • 深度图贝叶斯优化的深度神经架构搜索

    本文提出一种基于 Bayesian 图神经网络作为新的代理函数的方法，能够自动提取深度神经架构中的特征，并使用学到的特征来拟合和表征黑箱目标及其不确定性，将其用于应对深度神经架构搜索的挑战性任务，实验结果表明该方法在基准任务上明显优于比较方法。

    May, 2019

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • BANANAS: 基于神经架构的贝叶斯优化神经结构搜索

    本文通过先识别出五个主要组成部分：架构编码、神经预测器、不确定性校准方法、采集函数和采集优化策略，对 “BO + 神经预测器” 框架进行彻底分析。在每个部件中测试了几种不同的方法，并且还开发了一种新的基于路径的编码方案。最终我们提出了一个名为 BANANAS 的算法，它在 NAS 搜索空间中实现了最先进的性能。

    Oct, 2019

  • 基于贝叶斯优化和最优传输的神经网络自动架构搜索

    本文提出了一种名为 NASBOT 的基于高斯过程的 BO 框架，用于神经结构搜索，通过计算神经网络结构空间中的距离度量，取得了比其他替代方法更好的性能，在多层感知器和卷积神经网络的交叉验证模型选择任务中得到了证实。

    Feb, 2018

  • 带有知识蒸馏的分块监督神经网络架构搜索

    本文旨在通过将神经体系结构搜索的大搜索空间模块化为块，以确保潜在的候选架构完全训练，从而降低共享参数引起的表示移位并导致对候选项的正确评级，并且从教师模型中提取体系结构知识来指导我们的块搜索，这显着提高了 NAS 的有效性和效率。

    Nov, 2019

  • BayesNAS: 一种用于神经结构搜索的贝叶斯方法

    本文采用经典的贝叶斯学习方法，利用分层自动相关决策（HARD）先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题，并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构，同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。

    May, 2019

  • 后验引导的神经网络结构搜索

    本研究从贝叶斯角度出发，提出了一种后验引导的神经结构搜索方法（PGNAS），通过估计网络结构和权重的联合后验分布，减少数据采样与超参数调整，并在图像分类任务上进行验证，证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。

    Jun, 2019

  • 利用 BONAS 缩小基于样本和一次通的神经架构搜索之间的差距

    本篇论文介绍了一种名为 BONAS 的基于贝叶斯优化的神经架构搜索框架，该框架使用图卷积网络预测器作为代理模型以在每次迭代中选择多个相关的候选模型，并采用权重共享方法来同时训练多个候选模型。该方法不仅可以显著加速传统的基于采样的方法，而且可以保持其可靠性。

    Nov, 2019

  • NPENAS: 神经预测引导的神经结构搜索

    本文介绍一种基于神经预测器的进化算法（NPENAS）用于增强 NAS 的探索能力，设计了两种神经预测器，其中一种是基于贝叶斯优化的不确定性估计网络，另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明，使用这种方法的 NPENAS 优于大多数现有的 NAS 算法.

    Mar, 2020

  • 图神经网络中的神经结构搜索

    本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

    Jul, 2020