基于贝叶斯优化和最优传输的神经网络自动架构搜索
本文提出一种基于 Bayesian 图神经网络作为新的代理函数的方法,能够自动提取深度神经架构中的特征,并使用学到的特征来拟合和表征黑箱目标及其不确定性,将其用于应对深度神经架构搜索的挑战性任务,实验结果表明该方法在基准任务上明显优于比较方法。
May, 2019
本文通过先识别出五个主要组成部分:架构编码、神经预测器、不确定性校准方法、采集函数和采集优化策略,对 “BO + 神经预测器” 框架进行彻底分析。在每个部件中测试了几种不同的方法,并且还开发了一种新的基于路径的编码方案。最终我们提出了一个名为 BANANAS 的算法,它在 NAS 搜索空间中实现了最先进的性能。
Oct, 2019
本文提出一种基于贝叶斯优化的神经架构搜索方法,结合 Weisfeiler-Lehman 图内核和高斯过程代理,在高效,可扩展的数据条件下寻找拓扑结构和对神经网络性能的有益特征进行优化和发现。并且在闭合和开放领域的搜索空间中,表现优于现有的 NAS 方法。
Jun, 2020
本文提出了一个深度学习框架,基于具有随机先验的 bootstrap 整合的神经体系结构,用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系,测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。
Feb, 2023
Cost Apportioned BO aims to minimize an objective function as efficiently as possible by combining a cost-effective initial design with a cost-cooled optimization phase, leading to better hyperparameter configurations than competing methods given the same cost budget.
Mar, 2020
贝叶斯优化是一种强大的技术,可用于优化噪声大、昂贵难评估的黑箱函数,在科学、工程、经济、制造等领域具有广泛的实际应用。本文概述了贝叶斯优化在下一代过程系统设计中的最新进展、挑战和机遇,并介绍了如何利用高级贝叶斯优化方法更有效地解决这些应用中的重要问题。最后,我们总结了提高概率模型质量、选择下一个样本点的内部优化过程以及利用问题结构提高样本效率方面的挑战和机会。
Jan, 2024
本文介绍了一种基于贝叶斯优化的多任务学习方法,其中引入了专家知识进行加速优化,并通过 Siamese 神经网络进行知识收集,实验结果表明,该方法可以显著加速优化过程。
Aug, 2022
本文提出了将成本约束的 BO 建模为约束马尔科夫决策过程 (CMDP) 的方法,并开发了一个高效的滚动估计算法,以同时考虑成本和未来迭代次数。作者在超参数优化和传感器集选择中验证了他们的方法。
Jun, 2021
本论文提出了一种自动化的基于先前任务调优历史知识的方法,通过传递学习能力将现有的贝叶斯优化方法能够具有迁移学习的能力。同时,作者通过精简搜索空间设计的方法有效地提高了基于机器学习和深度学习,包括神经架构搜索等任务的效能,并在各种基准测试中优于现有技术。
Jun, 2022