本文提出了一种名为自然进化策略（NES）的算法，它是一种比传统进化算法更为规范的黑盒优化方法。NES 在候选解集上维护一个参数化的分布，使用自然梯度来更新分布的参数，以求解更高预期的适应度值。本文介绍了一系列技术，解决了关于收敛、稳健性、样本复杂度、计算复杂度和对超参数的敏感性等问题。对于全局优化和高维空间搜索，从通用的多元正态分布到重尾和可分布的分布，本文探讨了 NES 系列的多种实现。实验结果显示，NES 表现良好，达到了各种标准基准测试的最佳性能。

Jun, 2011

本论文探讨了使用 Natural evolutionary strategies 方法优化处理处于梯度消失区域的随机初始化的带参数的量子电路。研究者们使用了 NES 梯度估算器来缓解方差的指数下降。他们在两种不同的问题中使用了两种特定的优化方法，并将其与标准梯度下降进行了比较。在所有这些情况下，他们的实验结果表明，使用 NES 方法可以在较少的电路评估次数下实现与现有优化技术相当的准确性，从而将 NES 方法作为与其他基于梯度的方法协同工作的混合工具来优化零梯度区域中的深度量子电路。

Nov, 2020

本研究提出了一种新颖的自然进化策略 (R1-NES) 算法，其使用搜索分布协方差矩阵的低秩近似，可以在参数空间线性时间内计算自然梯度，优于传统算法求解高维非可分离问题的能力，在 Rosenbrock 函数 (512 维) 中取得了最好的结果。

Jun, 2011

本文介绍了用于优化黑盒函数的 Evolutionary Strategies 结合组合优化器的 ES-ENAS 算法，显著提高了采样效率并成功应用于强化学习架构搜索。

Jan, 2021

本文提出了一种新的在线进化策略 —— 噪声 - 重复利用进化策略（NRES），并在多种应用中进行了实验。结果表明，相对于现有的自动微分和进化策略方法，NRES 在壁钟速度和总展开步数方面的收敛速度更快。

Apr, 2023

该论文提出了一种通用的异步评估策略 (AES)，并将其适应于 Evolutionary neural architecture search (ENAS)，通过维护一个队列，以便在工人进行评估后尽快进入下一代，从而提高了吞吐量，并在多个问题中观察到了多倍性能改善。

Aug, 2023

基于鲁棒性自然演化策略的替代估计器用于克服变分自编码器框架中的设计选择限制，实现在大型数据集上高效执行贝叶斯推理并创建不同类型的模型。

Aug, 2023

该研究提出了一种基于人口的进化随机梯度下降（ESGD）框架来优化深度神经网络，该框架将 SGD 和基于梯度的进化算法作为互补算法，以提高种群的平均适应度。

Oct, 2018

本文介绍一种基于神经预测器的进化算法（NPENAS）用于增强 NAS 的探索能力，设计了两种神经预测器，其中一种是基于贝叶斯优化的不确定性估计网络，另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明，使用这种方法的 NPENAS 优于大多数现有的 NAS 算法.

Mar, 2020

本文研究了进化策略在处理现实世界问题中普遍存在的无关特征的限制，并提出了一种集成硬阈值化和自然进化策略的新方法 NESHT，通过严格的分析和实证测试，证明了 NESHT 在嘈杂的 Mujoco 和 Atari 任务等复杂决策问题中的潜力。

May, 2024