Jun, 2019

使用进化策略和混合方法进行不可微监督学习

PDF
TL;DR该研究论文展示了演化策略在学习大型监督模型的非可微参数方面的优越性，尤其是当模型具有百万维参数时，该方法的竞争能力非常出色。这种方法允许瘦模型从第一步开始就可以训练，非常适合于大算力场景。
evolution strategiesnon-differentiable parametersmodel optimizationsparse modelssupervised learning
发现论文，激发创造
  • 演化策略：在混合量子 - 经典神经网络中的应用

    本 paper 研究了在量子机器学习中一种名为 Evolution Strategies 的黑盒优化算法，其对 QNNs 进行训练是一种可行的替代方法，但同时也存在梯度消失的问题，其表现强烈依赖于超参数的选择。

    May, 2022

  • ES 不仅仅是传统有限差分近似器

    本研究说明了一种基于进化策略的深度强化学习方法可以通过优化全部群体的平均奖励来寻找具有鲁棒性的神经网络参数，这种鲁棒性在不同领域的应用中得到了证实。与传统的有限差分法相比，这种方法不仅可以使搜索空间不同，也可以寻找不同属性的网络。

    Dec, 2017

  • 演化策略作为可扩展替代强化学习的方案

    使用黑盒优化算法 —— 进化策略，替代流行的基于 MDP 的 RL 技术，通过 MuJoCo 和 Atari 上的实验表明，ES 是一种可行的解决策略，随着可用 CPU 数量的增加而呈线性规模，同时 ES 具有不变性、容差性以及无需强化学习概念的优越性。

    Mar, 2017

  • Evolvability ES: 可扩展且直接的进化能力优化

    本文介绍一种名为 evolvability ES 的进化算法，旨在明确且有效地优化进化能力，即进一步适应能力。实验结果显示，与梯度基础的元学习算法相比，evolvability ES 表现良好，是研究深度神经网络中可进化表示潜力的新方向。

    Jul, 2019

  • 引导式进化策略：用代理梯度增强随机搜索

    研究使用 Guided Evolutionary Strategies 作为一种方法，来让优化过程中的代理梯度信息得到更优的利用，进而结合随机搜索来处理在机器学习等领域中出现的梯度无法被完全计算的问题。

    Jun, 2018

  • 在线进化策略中的噪声重用

    本文提出了一种新的在线进化策略 —— 噪声 - 重复利用进化策略（NRES），并在多种应用中进行了实验。结果表明，相对于现有的自动微分和进化策略方法，NRES 在壁钟速度和总展开步数方面的收敛速度更快。

    Apr, 2023

  • Danskin 定理在无导数最小极化优化中的应用

    本文提出了一种使用进化策略作为梯度估计器的黑盒极小极大问题的求解方法，并在实验中展示了该方法的有效性。

    May, 2018

  • 通过一组寻求新颖性智能体的群体改进演化策略在深度强化学习中的探索

    本文结合高效的进化策略算法（ES）、直接探索策略和进化智能技术，提出了一种新型快速可扩展的在深度强化学习任务中进行探索的算法，通过在 Atari 游戏和机器人学习领域的实验验证，提高了 ES 在稀疏或陷阱型的深度 RL 任务中的表现。

    Dec, 2017

  • 重要性加权演化策略

    本研究提出改进新型的进化策略算法 - 重要性加权进化策略（IW-ES），通过重要性采样技术来解决现有进化策略算法数据效率较低的问题，在保持原始方法的可扩展性的同时，可以在每个经验批次上执行多个更新，为高效生成强化学习策略算法提供了新思路。

    Nov, 2018

  • 自然进化策略

    本文提出了一种名为自然进化策略（NES）的算法，它是一种比传统进化算法更为规范的黑盒优化方法。NES 在候选解集上维护一个参数化的分布，使用自然梯度来更新分布的参数，以求解更高预期的适应度值。本文介绍了一系列技术，解决了关于收敛、稳健性、样本复杂度、计算复杂度和对超参数的敏感性等问题。对于全局优化和高维空间搜索，从通用的多元正态分布到重尾和可分布的分布，本文探讨了 NES 系列的多种实现。实验结果显示，NES 表现良好，达到了各种标准基准测试的最佳性能。

    Jun, 2011