使用蒙特卡罗树搜索学习黑盒优化的搜索空间划分
本文研究了在黑盒优化中通过引入 Monte Carlo Tree Search 方法和结合具备随机搜索功能和高斯过程的新下降方法等技术,以实现更快速的优化。实验结果表明,所提出的方法在各种有挑战性的基准问题上表现优越。
Nov, 2022
使用 LaMOO 优化算法在神经架构搜索任务中取得了超过 200% 的样本效率提升,并在 CIFAR10 数据集上以仅 600 个搜索样本实现了 97.36% 的准确率和仅 1.62M 参数,以及在 ImageNet 数据集上仅使用 522M 浮点操作数实现了 80.4% 的 top-1 准确率。
Jun, 2024
本文介绍了一种基于 Monte Carlo Tree Search 的变量选择方法 MCTS-VS,通过迭代选择和优化一组变量来构建低维空间,并使用任何 Bayesian optimization 算法在该空间内进行优化,经过高维合成函数和现实世界任务的测试,表明 MCTS-VS 可以在高维问题上获得业界领先效果。
Oct, 2022
通过基于 Monte Carlo 树搜索的采样策略,依赖于各层之间的关系,使用节点通信和分层选择方法以实现更好的探索和利用平衡,并构建了一个基于 CIFAR-10 的宏搜索空间的开源 NAS 基准测试 NAS-Bench-Macro,从而显著提高了搜索效率和性能。
Mar, 2021
用采样方法改进蒙特卡洛树搜索来实现全局非凸函数优化,避免传统分区树方法在高维情况下指数级增长的树规模,通过利用数值上估计的目标不确定性指标、采样估计的一阶和二阶信息,并且避免传统固定组合模式,快速高效地发现有潜力的区域,有效平衡探索与开发。在高维非凸优化测试中与其他方法进行了对比,并分析了超参数的影响。
Jan, 2024
在 AutoML 任务中,使用基于蒙特卡罗树搜索(MCTS)的方法 Mosaic 来处理混合结构和参数昂贵的黑盒优化问题,并在基准测试中获得了统计显著的性能提升。
Jun, 2019
本文提出了一个名为 AlphaX 的新型可扩展 Monte Carlo Tree Search (MCTS) NAS 代理,该代理通过元深度神经网络 (DNN) 预测网络准确度,进而优化探索效率,降低网络评估成本,且在 CIFAR-10、ImageNet 和 NASBench-101 数据集上均取得了优异的结果。
May, 2018
研究提出两种方法来提高蒙特卡罗树搜索 (Monte-Carlo Tree Search,MCTS) 算法中的收敛速率和探索程度,基于引入的备份操作与熵正则化,提供强有力的理论保证,实验证明方法有效。
Feb, 2022
使用前向搜索稀疏采样算法(FSSS)可以实现接近 Bayes 最优行为,从而使用 Monte-Carlo 树搜索算法有效地处理状态空间极大或无限大的马尔可夫决策过程(MDPs)。
Feb, 2012
本文提出了一种基于结构耦合核的 BO 方法 LADDER,使用深度生成模型的潜在表示来优化组合空间,解决了传统 BO 方法中代理模型只利用深度生成模型学习的信息对黑盒函数进行近似的缺陷,并通过实验验证表现优越。
Nov, 2021