本文介绍了两种基于种群的集成选择方法 QO-ES 和 QDO-ES,与现有的贪心集成选择方法 GES 进行比较,结果表明 QO-ES 和 QDO-ES 可以有效提高预测性能,但多样性也会增加过拟合的风险。
Jul, 2023
本文提出使用 CMA-ES 算法作为深度神经网络超参数优化的一种可行的选择,通过一个 MNIST 数据集的卷积神经网络的 toy experiment,对比了 CMA-ES 和 Bayesian 优化算法在 30 个 GPU 并行计算下的效果。
Apr, 2016
本研究针对进化计算领域中的算法选择问题,通过提出一种自适应 CMA-ES 算法的选择方式并测试,取得了比之前研究更稳健的结果,证明了模块选择对于不同优化问题的关键作用。
Apr, 2019
本文研究了 CMA-ES 的在线自适应方法 self-CMA-ES,旨在优化连续非线性问题的超参数设置,实验结果表明 self-CMA-ES 可以使得优化性能接近最优设置。
Jun, 2014
通过任务相似度的定义,将先前任务的经验直接迁移到初始化过的方法 CMA-ES 中,从而提高了它在具有相似任务的超参数优化中的表现。
Dec, 2020
在 AutoML 任务中,使用基于蒙特卡罗树搜索(MCTS)的方法 Mosaic 来处理混合结构和参数昂贵的黑盒优化问题,并在基准测试中获得了统计显著的性能提升。
Jun, 2019
本文从信息几何的角度探讨了协方差矩阵自适应进化策略(CMA-ES)的理论基础,并得出一些关键性的结论,包括 CMA-ES 中抽样分布参数的更新与期望适应性的自然梯度学习等存在密切联系。
Jun, 2012
在这篇文章中,作者提出了后企业行的选择技术,通过后企业行指标在模型开发决策中,如早停,检查点和更广的超参数选择,对模型进行指导。
Apr, 2024
我们提出了 cattleia—— 一个用于解读回归、多分类和二分类任务的集成模型的应用,通过评估度量、多样性和补充性度量以及可解释性人工智能技术,我们可以调整集成模型的权重和组件模型以满足特定需求,并通过交互式可视化来提供这些方面,从而支持决策和深化对自动机器学习框架的理解。
Mar, 2024
提出了一种基于有限内存协方差矩阵自适应进化策略的大规模优化方法 LM-CMA-ES,将协方差矩阵分解成乔洛斯基因子可以将采样的时间和内存复杂度降至 O (mn),适合于处理非线性连续域的优化问题。
Apr, 2014