本文研究了 CMA-ES 的在线自适应方法 self-CMA-ES,旨在优化连续非线性问题的超参数设置,实验结果表明 self-CMA-ES 可以使得优化性能接近最优设置。
Jun, 2014
本文提出使用 CMA-ES 算法作为深度神经网络超参数优化的一种可行的选择,通过一个 MNIST 数据集的卷积神经网络的 toy experiment,对比了 CMA-ES 和 Bayesian 优化算法在 30 个 GPU 并行计算下的效果。
Apr, 2016
本文介绍了 CMA 进化策略(ES),其中 CMA 代表协方差矩阵适应。CMA-ES 是一种随机或随机化方法,用于实参数(连续域)优化非线性、非凸函数。本文试图从直观概念和在连续域内非线性、非凸搜索的要求中激发和推导算法。
通过任务相似度的定义,将先前任务的经验直接迁移到初始化过的方法 CMA-ES 中,从而提高了它在具有相似任务的超参数优化中的表现。
Dec, 2020
这项工作提供了一种有效的 CMA-ES 协方差矩阵适应进化策略的抽样方法,采用混合模型生成变异向量,简化了数量庞大的实验中寻优问题的复杂性。
Mar, 2022
该研究探究了模块化协方差矩阵适应进化策略(modCMA)中结构偏差的影响,特别关注算法中各个模块的作用,通过对 435,456 种 modCMA 配置的广泛调查,确定了显著影响各类结构偏差的关键模块。研究利用 Deep-BIAS 工具箱进行结构偏差检测和分类,并借助 SHAP 分析量化了模块的贡献。对这些配置在保持固定最优位置的一系列仿射重组函数上进行了性能测试,逐渐变化景观特征,结果显示了模块诱导的结构偏差与算法性能在不同景观特征下的相互作用。
Apr, 2024
提出了一种基于有限内存协方差矩阵自适应进化策略的大规模优化方法 LM-CMA-ES,将协方差矩阵分解成乔洛斯基因子可以将采样的时间和内存复杂度降至 O (mn),适合于处理非线性连续域的优化问题。
Apr, 2014
本文研究了自动化机器学习中的模型集成方法,比较了不同方法在不同的度量标准下的性能表现,探讨了如何避免在使用数值优化方法时产生过拟合。
Jul, 2023
该研究提出了一种名为停滞检测的机制,可用作现有进化算法的模块,通过在多模式优化和自适应机制的探索中对其进行实验以及在限制方面研究其模块的潜在影响,验证了该模块的性能。
Apr, 2020
本研究对 500 多个元启发式算法进行了详尽的调查,并重点比较了 11 个新的和 4 个已有的元启发式算法对 CEC2017 基准函数集的竞争性表现,结果显示 EBCM 性能优良,不输于现有的元启发式算法。
Dec, 2022