Apr, 2024

结构偏差对沿仿射轨迹的 CMA-ES 性能的深入研究

PDF
TL;DR该研究探究了模块化协方差矩阵适应进化策略（modCMA）中结构偏差的影响，特别关注算法中各个模块的作用，通过对 435,456 种 modCMA 配置的广泛调查，确定了显著影响各类结构偏差的关键模块。研究利用 Deep-BIAS 工具箱进行结构偏差检测和分类，并借助 SHAP 分析量化了模块的贡献。对这些配置在保持固定最优位置的一系列仿射重组函数上进行了性能测试，逐渐变化景观特征，结果显示了模块诱导的结构偏差与算法性能在不同景观特征下的相互作用。
iterative optimisation heuristicsstructural biasescovariance matrix adaptation evolution strategymodulesalgorithm performance
发现论文，激发创造
  • CMA-ES 变体的在线选择

    本研究针对进化计算领域中的算法选择问题，通过提出一种自适应 CMA-ES 算法的选择方式并测试，取得了比之前研究更稳健的结果，证明了模块选择对于不同优化问题的关键作用。

    Apr, 2019

  • 利用可解释性 AI 检测结构性偏见的 Deep-BIAS

    本文介绍了基于深度学习技术的 Deep-BIAS 工具箱，它可以对各种结构性偏差进行快速检测和分类，并使用 XAI 技术进行解释。实验结果表明，在性能检测和结构性偏差分类方面，Deep-BIAS 的表现优于 BIAS 工具箱。

    Apr, 2023

  • 构造偏置的方面情感三元组抽取

    本研究通过使用适配器将结构偏差集成到预训练语言模型中，用廉价计算的相对位置结构代替句法依赖关系来解决效率问题，并在 SemEval 数据集上进行基准评估，在轻量级参数需求和低延迟的同时获得了先进的性能，得出结构偏差即使在 PLMs 中仍然是必要的结论。

    Sep, 2022

  • 使用 CMA-ES 算法对深度神经网络的超参数进行优化

    本文提出使用 CMA-ES 算法作为深度神经网络超参数优化的一种可行的选择，通过一个 MNIST 数据集的卷积神经网络的 toy experiment，对比了 CMA-ES 和 Bayesian 优化算法在 30 个 GPU 并行计算下的效果。

    Apr, 2016

  • CMA-ES 的信息几何学视角下的理论基础

    本文从信息几何的角度探讨了协方差矩阵自适应进化策略（CMA-ES）的理论基础，并得出一些关键性的结论，包括 CMA-ES 中抽样分布参数的更新与期望适应性的自然梯度学习等存在密切联系。

    Jun, 2012

  • 因果和结构效应的自动去偏机器学习

    本文利用机器学习进行自动去偏差，得出了高维回归的线性和非线性函数。不仅提供去偏差的标准误差，还给出了一系列的结构性和因果效应的估计量。应用于具体数据上得出了对待处理者的平均处理效应，以及 Nielsen 扫描仪数据中有价格和收入相关性的需求弹性。

    Sep, 2018

  • CMA 进化策略：教程

    本文介绍了 CMA 进化策略（ES），其中 CMA 代表协方差矩阵适应。CMA-ES 是一种随机或随机化方法，用于实参数（连续域）优化非线性、非凸函数。本文试图从直观概念和在连续域内非线性、非凸搜索的要求中激发和推导算法。

    Apr, 2016

  • 基于多目标自动设计算法的约束问题分量分析

    研究自动设计算法对多目标优化算法性能影响的新方法，发现重启和更新策略对性能改进影响最大，影响程度还与问题难度相关。

    Mar, 2022

  • 多目标进化算法中组件效应对算法行为的影响

    研究使用自动设计的算法对多目标进化算法进行了效果评估，通过比较搜索轨迹网络、种群的多样性和任意时刻的超体积值，发现算法组件对于不同问题具有不同的影响。

    Jul, 2023

  • 协方差矩阵适应进化策略的对角加速

    介绍了对协方差矩阵适应进化策略（CMA-ES）的加速技术 - 自适应对角解码（dd-CMA）。通过为采样分布引入表达坐标方差的对角矩阵来实现对称 CMA-ES 的重要优势，还可以利用可分离性，而不会损害非可分离问题的性能。我们还引入了两种保证协方差矩阵正定性的方法，并修订了 CMA-ES 的默认参数设置。在数值实验中，我们观察到 dd-CMA-ES 在存在坐标病态性的函数上表现出显着的性能提高，并且在大规模问题中也表现出了改进的效果。

    May, 2019