May, 2019

深度图贝叶斯优化的深度神经架构搜索

PDF
TL;DR本文提出一种基于 Bayesian 图神经网络作为新的代理函数的方法，能够自动提取深度神经架构中的特征，并使用学到的特征来拟合和表征黑箱目标及其不确定性，将其用于应对深度神经架构搜索的挑战性任务，实验结果表明该方法在基准任务上明显优于比较方法。
bayesian optimizationneural architecture searchgraph neural networkblack-box functionssurrogate function
发现论文，激发创造
  • 基于贝叶斯优化和最优传输的神经网络自动架构搜索

    本文提出了一种名为 NASBOT 的基于高斯过程的 BO 框架，用于神经结构搜索，通过计算神经网络结构空间中的距离度量，取得了比其他替代方法更好的性能，在多层感知器和卷积神经网络的交叉验证模型选择任务中得到了证实。

    Feb, 2018

  • 可扩展贝叶斯优化算法：基于深度神经网络

    本文研究如何使用神经网络作为替代高斯过程的方法建立函数分布模型，以实现高效的贝叶斯优化方法并应用于大规模超参数优化，通过卷积网络和神经语言模型在基准目标识别任务和图像描述生成方面实现了优异的效果。

    Feb, 2015

  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 属性图上的深度贝叶斯优化

    本文提出了一种基于深度图神经网络的可扩展深度图贝叶斯优化方法，用于优化具有上下文特征的 attributed graphs 的 graph structure，解决了传统模型自由方法计算时间长的问题，并在分子发现和城市道路网络设计等人工和真实问题上得到了有效的验证。

    May, 2019

  • 利用 Weisfeiler-Lehman 核的贝叶斯优化进行可解释的神经结构搜索

    本文提出一种基于贝叶斯优化的神经架构搜索方法，结合 Weisfeiler-Lehman 图内核和高斯过程代理，在高效，可扩展的数据条件下寻找拓扑结构和对神经网络性能的有益特征进行优化和发现。并且在闭合和开放领域的搜索空间中，表现优于现有的 NAS 方法。

    Jun, 2020

  • BANANAS: 基于神经架构的贝叶斯优化神经结构搜索

    本文通过先识别出五个主要组成部分：架构编码、神经预测器、不确定性校准方法、采集函数和采集优化策略，对 “BO + 神经预测器” 框架进行彻底分析。在每个部件中测试了几种不同的方法，并且还开发了一种新的基于路径的编码方案。最终我们提出了一个名为 BANANAS 的算法，它在 NAS 搜索空间中实现了最先进的性能。

    Oct, 2019

  • 贝叶斯框架下的黑箱模型优化神经过程

    本文提出了一种称为神经过程贝叶斯优化的通用黑盒模型优化算法，通过使用神经过程作为代理模型来提高效率和准确性，在功率系统参数优化问题和七个基准贝叶斯优化问题上的比较均表明该算法的性能优于其他四个基准算法。

    Apr, 2021

  • 大批量神经多目标贝叶斯优化

    本文提出了一种基于贝叶斯神经网络的优化框架，专门针对数据密集型环境中多目标优化的局限性进行了优化，实现了对大量数据的有效处理和复杂问题的建模，并展示了其在航空动力学和彩色印刷两个领域的应用和有效性。

    Jun, 2023

  • 图形贝叶斯优化：算法、评估和应用

    本文提出了一种灵活的图贝叶斯优化框架，结合了图内核，通过识别优化过程中哪些特征更重要来完全利用隐含的图结构特征并证明了其有效性和潜在应用。

    May, 2018

  • 利用积极征询专家知识增强的贝叶斯优化

    本文介绍了一种基于贝叶斯优化的多任务学习方法，其中引入了专家知识进行加速优化，并通过 Siamese 神经网络进行知识收集，实验结果表明，该方法可以显著加速优化过程。

    Aug, 2022