本篇论文提出了一种基于可微分的信任区间层的深度 Episode-based 强化学习算法，通过在高精度的情景下更新策略，使得不能被 Step-based 算法解决的稀疏奖励和非马尔科夫奖励能够被优化。在解决复杂的机器人控制任务方面，该算法优于 Step-based 算法，并且稀疏和非马尔科夫奖励更适合定义所需的行为参数，以获得更高质量的策略。

Oct, 2022

提出了一个新的挑战，即通过 GRAD 方法将强化学习中的时间上耦合的扰动问题视为部分可观察的两人零和游戏，并通过在该游戏中找到逼近均衡来确保智能体对于时间上耦合的扰动的鲁棒性，实验结果表明，相比于基准方法，在状态空间和动作空间中，所提出的方法在多种连续控制任务上对抗标准攻击和时间上耦合攻击都展现出显著的鲁棒性优势。

Jul, 2023

本文介绍了一种基于人工进化算法和深度强化学习相结合的进化增强学习算法，该算法克服了传统深度强化学习算法中时序资格分配、探索效率和收敛性极度敏感的问题，使用基于种群的进化算法来训练深度强化学习代理人，实验结果表明，该方法在多种连续控制基准测试中显著优于传统深度强化学习和进化算法方法。

May, 2018

本文提出了一种基于时间逻辑规范的强化学习策略搜索方法，通过将时间逻辑公式转化为实值函数，来指导策略搜索过程，从而避免手动调整奖励函数的繁琐操作。

Sep, 2017

本研究介绍了一种名为 CERL 的可扩展框架，其中包含一组策略，这些策略同时探索和利用解决方案空间的不同区域，并使用神经进化将这个过程绑定在一起，从而生成一个超越任何个体学习器的单个新兴学习器。实验表明，这个新兴学习器在连续控制基准测试中优于其复合学习器，并保持整体更高的采样效率。

May, 2019

本文提出了一种将先前的专家知识与连续 actor-critic RL 框架相结合的简单且有效的方法，以加速策略的学习过程并减少样本复杂度。结果显示，这种方法使得 RL agent 在保持最终性能的情况下，比传统的 RL agent 更快收敛一个数量级。

Nov, 2022

我们提出了一个能够逐步扩展解释性时间逻辑规则集来解释时间事件发生的框架。利用时间点过程建模和学习框架，规则内容和权重将逐渐优化，直到观察的事件序列的似然性最佳。我们的算法通过在主问题中更新当前规则集的权重，并在子问题中搜索和包含新规则来增加似然性。主问题被定义为凸问题，使用连续优化方法相对容易求解，而子问题需要在庞大的组合规则谓词和关系空间中进行搜索。为了克服这一挑战，我们提出了一种神经搜索策略，通过学习生成新规则内容的一系列动作。该策略参数将使用强化学习框架进行端到端训练，其中奖励信号可以通过评估子问题目标来高效查询。训练好的策略可以以可控的方式生成新规则。我们在合成和真实的医疗数据集上评估了我们的方法，取得了有前景的结果。

Aug, 2023

本文提出了一种新的进化约束强化学习算法，它使用随机排序自适应平衡奖励和约束违规，并通过维护一组拉格朗日松弛系数与约束缓冲器限制政策行为。实验结果表明，我们的方法在机器人控制测试中表现出优异的性能，同时，消融分析显示引入随机排序和约束缓冲的好处。

Apr, 2023

传统强化学习算法通常在机器人技术中用于学习具有固定控制频率的控制器。本文提出 Soft Elastic Actor-Critic（SEAC），这是一种新颖的离策略演员 - 评论家算法，旨在解决控制频率选择问题，通过实现弹性时间步长（具有已知可变时长的时间步长），使代理能够根据情况变化其控制频率，从而最大程度地减少计算资源和数据使用，提高能量效率和总体时间管理能力，尤其是在强化学习算法难以收敛的控制频率下，SEAC 表现出更快速和更稳定的训练速度。此外，与类似方法 Continuous-Time Continuous-Options（CTCO）模型相比，SEAC 的任务性能更好，突出了 SEAC 在实际机器人强化学习应用中的潜力。

Feb, 2024

我们的研究通过将任务规范为线性时间逻辑（LTL）目标并优化额外的标量奖励，提出了一种增强学习代理的任务说明方法。我们的方法将问题转化为单一优化目标，并通过引入 Cycle Experience Replay（CyclER）解决了 LTL 引导的深度增强学习政策的稀疏性问题。实验证明了 CyclER 在连续和离散实验领域中发现性能优越的深度增强学习政策的有效性。

Apr, 2024