本论文探讨了使用 Natural evolutionary strategies 方法优化处理处于梯度消失区域的随机初始化的带参数的量子电路。研究者们使用了 NES 梯度估算器来缓解方差的指数下降。他们在两种不同的问题中使用了两种特定的优化方法，并将其与标准梯度下降进行了比较。在所有这些情况下，他们的实验结果表明，使用 NES 方法可以在较少的电路评估次数下实现与现有优化技术相当的准确性，从而将 NES 方法作为与其他基于梯度的方法协同工作的混合工具来优化零梯度区域中的深度量子电路。

Nov, 2020

本文提出了一种名为自然进化策略（NES）的算法，它是一种比传统进化算法更为规范的黑盒优化方法。NES 在候选解集上维护一个参数化的分布，使用自然梯度来更新分布的参数，以求解更高预期的适应度值。本文介绍了一系列技术，解决了关于收敛、稳健性、样本复杂度、计算复杂度和对超参数的敏感性等问题。对于全局优化和高维空间搜索，从通用的多元正态分布到重尾和可分布的分布，本文探讨了 NES 系列的多种实现。实验结果显示，NES 表现良好，达到了各种标准基准测试的最佳性能。

Jun, 2011

该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法，通过动态生成和更新不确定性权衡学习，解决了现有方法中面临的问题，包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明，与竞争方法相比，eVAE 在文本生成、图像生成质量等方面均有显著改善。

Jan, 2023

该研究采用元学习来探寻对进化策略更有效的更新规则，并通过自我关注机制加以参数化，其结果显示新进化策略推广到未知的优化问题、种群大小和优化目标上表现出良好的性能。研究结果还表明，所学习的进化策略可以在监督学习和连续控制任务中优于传统的神经进化算法。

Nov, 2022

本文介绍了一种基于蒙特卡洛采样的随机优化算法，可用于快速逼近复杂潜在变量模型的后验概率分布，避免了繁琐的模型推导过程，同时探索了多种长期医疗数据模型。

Dec, 2013

这篇论文介绍了黑盒优化问题以及贝叶斯优化和替代辅助进化算法两种优化技术的使用方法和差异，还介绍了一种新的基于模型辅助的策略，通过利用未评估的解产生后代，并结合进化算法的群体搜索能力来提高模型辅助优化的效果。实验结果表明，该方法在准确性和效率方面优于主流的贝叶斯优化算法。

Mar, 2024

本文提出了一种新的在线进化策略 —— 噪声 - 重复利用进化策略（NRES），并在多种应用中进行了实验。结果表明，相对于现有的自动微分和进化策略方法，NRES 在壁钟速度和总展开步数方面的收敛速度更快。

Apr, 2023

通过元优化的方式，引入一种能够灵活表征一系列进化策略的因果 Transformer 架构 ——Evolution Transformer，用于从数据中直接发现强大的优化原理。通过 Evolution Transformer，结合进化算法蒸馏技术进行模型权重训练，我们得到一个在特定上下文中表现良好且能够很好泛化到其他具有挑战性的神经进化任务的模型。此外，我们还分析了 Evolution Transformer 的属性，并提出了一种全自引用训练的技术，从随机初始化开始并引导其自身的学习进程。我们提供了一个开源实现，网址为 https://<URL>

Mar, 2024

本文研究使用自然梯度方法解决贝叶斯深度学习中的复杂模型的计算挑战，并表明这种方法在提高收敛性方面有优势。

Jul, 2018

Efficient Natural Evolution Strategies (eNES) using natural gradient and Fisher information matrix increases evolution gradient estimation robustness and performance for optimal fitness baselines in updating population with competitive results on unimodal and multimodal benchmarks.

Sep, 2012