演化引导的强化学习策略梯度

NIPSMay, 2018

Evolution-Guided Policy Gradient in Reinforcement Learning

Shauharda Khadka, Kagan Tumer

TL;DR本文介绍了一种基于人工进化算法和深度强化学习相结合的进化增强学习算法，该算法克服了传统深度强化学习算法中时序资格分配、探索效率和收敛性极度敏感的问题，使用基于种群的进化算法来训练深度强化学习代理人，实验结果表明，该方法在多种连续控制基准测试中显著优于传统深度强化学习和进化算法方法。

Abstract

deep reinforcement learning (DRL) algorithms have been successfully applied to a range of challenging control tasks. However, these methods typically suffer from three core difficulties: temporal credit assignment with sparse rewards, lack of effective exploration, and brittle converge

evolutionary reinforcement learning deep reinforcement learning evolutionary algorithms population-based approach continuous control benchmarks

发现论文，激发创造

演化算法与强化学习的桥梁：综述

進化強化學習 (ERL) 通過整合進化算法 (EAs) 和強化學習 (RL) 進行優化，展現了卓越的性能提升。本文綜述了 ERL 中多樣的研究分支，系統地總結了最近相關算法的發展，並確定了三個主要的研究方向：EA 輔助 RL 優化、RL 輔助 EA 優化以及 EA 和 RL 的協同優化。隨後，我們對每個研究方向進行了深入分析，組織了多個研究分支，闡明了每個分支旨在解決的問題以及 EA 和 RL 集成如何應對這些挑戰。最後，我們討論了不同研究方向中可能面臨的挑戰和未來的研究方向。

Jan, 2024

进化强化学习：综述

这篇文章综述了将进化计算方法与强化学习相结合的最新研究进展和方法，涉及强化学习中的关键研究领域及未来方向，为研究者和实践者提供参考和资源。

Mar, 2023

用简单的进化思想辅助基于梯度的强化学习

我们提出了一种简单而有效的强化学习算法，通过使用进化算子在强化学习中引入大的有向学习步骤，并使用具有共同经验缓冲区的强化学习代理人种群进行训练，从而有效地搜索策略空间。

May, 2023

演化约束强化学习策略

本文提出了一种新的进化约束强化学习算法，它使用随机排序自适应平衡奖励和约束违规，并通过维护一组拉格朗日松弛系数与约束缓冲器限制政策行为。实验结果表明，我们的方法在机器人控制测试中表现出优异的性能，同时，消融分析显示引入随机排序和约束缓冲的好处。

Apr, 2023

强化学习辅助的进化算法：调查与研究机会

综述了将强化学习应用于进化算法的研究，讨论了集成方法、应用领域以及未来研究方向。

Aug, 2023

协作进化强化学习

本研究介绍了一种名为 CERL 的可扩展框架，其中包含一组策略，这些策略同时探索和利用解决方案空间的不同区域，并使用神经进化将这个过程绑定在一起，从而生成一个超越任何个体学习器的单个新兴学习器。实验表明，这个新兴学习器在连续控制基准测试中优于其复合学习器，并保持整体更高的采样效率。

May, 2019

近端蒸馏进化强化学习

本文提出一种新的算法 Proximal Distilled Evolutionary Reinforcement Learning (PDERL)，通过对深度神经网络进行基于学习的变异操作，弥补了简单遗传编码的缺陷，优于 Evolutionary Reinforcement Learning (ERL) 和两种现有的强化学习算法。

Jun, 2019

强化学习的进化算法

本文针对强化学习问题，重点介绍了进化算法在该问题上的应用，以及替代策略表述、信誉分配方法和问题特定遗传算子等方面的思考，在总结代表性应用的同时呈现了进化方法在强化学习中的优势和劣势。

Jun, 2011

演化强化学习的合作协同进化

本文提出了一种新颖的合作共进化强化学习（CoERL）算法，旨在解决高维度神经网络优化效率问题，通过将策略优化问题分解为多个子问题并进化各个子问题的神经网络种群，使用部分梯度来更新策略，以提高采样效率。在六个基准运动任务上的实验表明，CoERL 优于七种最先进的算法和基准模型，并通过消融研究验证了 CoERL 核心要素的独特贡献。

Apr, 2024

进化策略梯度

该研究提出了一种元学习方法，用于学习基于梯度的加强学习算法，即演化可微损失函数，以便代理可以最小化该损失来优化其策略并获得高回报。经实证结果表明，与现成的策略梯度方法相比，所提出的演化策略梯度算法（EPG）在几个随机环境上实现了更快的学习，且其学习的损失可以推广到测试时间外的任务，并呈现出与其他流行的元学习算法截然不同的行为。

Feb, 2018