本文介绍了 CMA 进化策略（ES），其中 CMA 代表协方差矩阵适应。CMA-ES 是一种随机或随机化方法，用于实参数（连续域）优化非线性、非凸函数。本文试图从直观概念和在连续域内非线性、非凸搜索的要求中激发和推导算法。

Apr, 2016

本文研究了 CMA-ES 的在线自适应方法 self-CMA-ES，旨在优化连续非线性问题的超参数设置，实验结果表明 self-CMA-ES 可以使得优化性能接近最优设置。

Jun, 2014

提出了一种基于有限内存协方差矩阵自适应进化策略的大规模优化方法 LM-CMA-ES，将协方差矩阵分解成乔洛斯基因子可以将采样的时间和内存复杂度降至 O (mn)，适合于处理非线性连续域的优化问题。

Apr, 2014

这项工作提供了一种有效的 CMA-ES 协方差矩阵适应进化策略的抽样方法，采用混合模型生成变异向量，简化了数量庞大的实验中寻优问题的复杂性。

Mar, 2022

介绍了对协方差矩阵适应进化策略（CMA-ES）的加速技术 - 自适应对角解码（dd-CMA）。通过为采样分布引入表达坐标方差的对角矩阵来实现对称 CMA-ES 的重要优势，还可以利用可分离性，而不会损害非可分离问题的性能。我们还引入了两种保证协方差矩阵正定性的方法，并修订了 CMA-ES 的默认参数设置。在数值实验中，我们观察到 dd-CMA-ES 在存在坐标病态性的函数上表现出显着的性能提高，并且在大规模问题中也表现出了改进的效果。

May, 2019

本文提出使用 CMA-ES 算法作为深度神经网络超参数优化的一种可行的选择，通过一个 MNIST 数据集的卷积神经网络的 toy experiment，对比了 CMA-ES 和 Bayesian 优化算法在 30 个 GPU 并行计算下的效果。

Apr, 2016

当处理参数统计模型时，将参数空间赋予费舍尔信息度量可以自然地产生一个黎曼流形，由该度量引导的参数几何称为费舍尔 - 瑞奥信息几何。有趣的是，这为利用微分几何中的许多工具提供了一个视角。介绍这些概念后，我们将在椭圆分布框架中呈现这些几何工具的一些实际用途，这部分内容主要包括协方差矩阵估计的黎曼优化、内在克拉默 - 瑞奥界限以及使用黎曼距离的分类。

Oct, 2023

为了实现贝叶斯推理的最佳实验条件，本研究提出了两种估计信息增益梯度的方法：UEEG-MCMC 通过马尔科夫链蒙特卡罗生成后验样本来估计信息增益梯度，而 BEEG-AP 通过反复使用参数样本以实现高模拟效率。理论分析和数值研究表明，在实际信息增益值方面，UEEG-MCMC 具有较强的鲁棒性，而当待优化的信息增益值较小时，BEEG-AP 更加高效。此外，在数值实验中，与几种常用基准方法相比，这两种方法都表现出了更优越的性能。

Aug, 2023

该论文提出了一种高效的随机优化算法，通过引入随机多层次蒙特卡洛（MLMC）方法，使用无偏的蒙特卡罗估计器求解期望信息增益的梯度，该算法具有较高的性能，可以用于搜索最优的贝叶斯实验设计，适用于简单测试问题和现实药代动力学问题。

May, 2020

通过 Bregman 分歧诱导的镜像下降是双重黎曼流形上的自然梯度下降算法，使用对数似然损失的镜像下降在指数族参数估计中渐近地达到了经典的 Cramer-Rao 下限，指数族对应的流形的自然梯度下降可以通过镜像下降实现一阶方法。

Oct, 2013