CMA 进化策略:教程
本文研究了 CMA-ES 的在线自适应方法 self-CMA-ES,旨在优化连续非线性问题的超参数设置,实验结果表明 self-CMA-ES 可以使得优化性能接近最优设置。
Jun, 2014
本文提出使用 CMA-ES 算法作为深度神经网络超参数优化的一种可行的选择,通过一个 MNIST 数据集的卷积神经网络的 toy experiment,对比了 CMA-ES 和 Bayesian 优化算法在 30 个 GPU 并行计算下的效果。
Apr, 2016
提出了一种基于有限内存协方差矩阵自适应进化策略的大规模优化方法 LM-CMA-ES,将协方差矩阵分解成乔洛斯基因子可以将采样的时间和内存复杂度降至 O (mn),适合于处理非线性连续域的优化问题。
Apr, 2014
本文从信息几何的角度探讨了协方差矩阵自适应进化策略(CMA-ES)的理论基础,并得出一些关键性的结论,包括 CMA-ES 中抽样分布参数的更新与期望适应性的自然梯度学习等存在密切联系。
Jun, 2012
本研究针对进化计算领域中的算法选择问题,通过提出一种自适应 CMA-ES 算法的选择方式并测试,取得了比之前研究更稳健的结果,证明了模块选择对于不同优化问题的关键作用。
Apr, 2019
本文提出了结合协方差矩阵自适应技术和档案映射技术以维持多样性的新型 quality diversity 算法 (CMA-ME),在连续空间的测试表明,CMA-ME 相较于 MAP-Elites 能够找到更好的解决方案以及策略多样性,表现翻倍。此算法对于同时探索和优化连续搜索空间有着极大的应用价值,可以应用于设计、测试和强化学习等领域。
Dec, 2019
介绍了对协方差矩阵适应进化策略(CMA-ES)的加速技术 - 自适应对角解码(dd-CMA)。通过为采样分布引入表达坐标方差的对角矩阵来实现对称 CMA-ES 的重要优势,还可以利用可分离性,而不会损害非可分离问题的性能。我们还引入了两种保证协方差矩阵正定性的方法,并修订了 CMA-ES 的默认参数设置。在数值实验中,我们观察到 dd-CMA-ES 在存在坐标病态性的函数上表现出显着的性能提高,并且在大规模问题中也表现出了改进的效果。
May, 2019
本文研究了具有累计步长自适应的进化策略 - CSA-ES,研究了其在具有仿射线性函数的增加函数的组合中的 Markov 链,得出了有和没有累积的累计路径的步长变化和变化的严格结果。步长在大多数情况下会出现几何级数的发散,同时还研究了累积参数的影响。
Dec, 2012
通过使用协方差矩阵适应 (CMA) 策略,本文提出了一种新的技术,用于定义具有高概率包含全局最优解的局部区域,从而在局部区域内使用贝叶斯优化 (BO) 来优化目标函数。我们的方法作为元算法,能够结合黑盒子优化器,如 BO、TuRBO 和 BAxUS,在我们得到的局部区域内找到目标函数的全局最优解,并在各种基准合成和真实问题上进行了评估,结果表明我们的方法优于现有的尖端技术。
Feb, 2024