本文介绍了计划辅助控制 (SAC-X)，一种新的强化学习学习范例，它可以在多重稀疏奖励信号存在的情况下从零开始学习复杂的行为，并在具有挑战性的机器人控制环境中得到了实验证明。

Feb, 2018

本文介绍了一种基于最大熵强化学习框架的离线演员-评论家算法 Soft Actor-Critic，其中演员旨在同时最大化期望回报和熵，以在任务中成功执行尽可能随机的动作。作者通过对其进行一系列改进，如约束模型等，提高了模型的稳定性和训练速度，并在基准任务以及四足机器人的运动和灵巧手的机器人操作等现实世界挑战任务中取得了最先进的性能，在样本效率和渐近性能方面优于以往的在线和离线算法。

Dec, 2018

本研究基于Soft Actor-Critic算法提出了一种能够处理离散、连续和参数化动作的强化学习算法Hybrid SAC，不仅能成功地解决高速驾驶等游戏中的任务，而且在参数化动作基准任务上也能与现有最先进的算法竞争，同时探讨了在最小计算成本下使用正则化流来丰富策略表达能力的影响，发现了SAC与正则化流一起使用时可能出现的潜在问题，并提出了优化不同目标的方法。

Dec, 2019

本文提出了一个基于深度强化学习的机器人pick-and-place任务的共识型模拟现实联合训练算法（CSAR），目的是在模拟和实际环境中都实现高效和有效的策略优化。实验表明，模拟中的最佳策略并不一定适用于模拟和实际环境的学习。同时，越多的模拟代理越有利于模拟现实的训练。

Feb, 2023

本篇论文在软性演员批评的强化学习中加入松弛变量，以适当处理不等式约束，最大化策略熵，从而实现了更高的稳定性和更稳定的学习，适用于真实世界的机器人控制。

Mar, 2023

该研究评估了一种离散动作空间强化学习方法（Q-learning）在机器人倒立摆平衡的连续控制问题中的应用。为了加快学习过程并克服直接在真实机器人系统上进行学习的技术困难，学习阶段在模拟环境中进行。通过对从真实系统获取的数据进行曲线拟合来推导系统动力学的数学模型。该研究验证了该方法的可行性，应用于一个真实世界的机器人学习平衡倒立摆。该研究还强调并证明了在模拟中准确表示物理世界对于实现强化学习算法在真实环境中更有效的重要性，即使使用离散动作空间算法来控制连续动作。

Dec, 2023

我们开发了一种精心实现的库，其中包含一种样本高效的离线深度强化学习方法，以及用于计算奖励和重置环境的方法，一个广泛采用的机器人的高质量控制器，和几个具有挑战性的示例任务。我们希望这些有希望的结果和我们的高质量开源实现将为机器人学界提供一个工具，以促进机器人强化学习的进一步发展。

Jan, 2024

通过引入Continual Policy Distillation（CPD）框架，该研究介绍了一种实现多功能控制器的方法，以用于四指软抓手对不同形状和大小的物体进行旋转操作的柔性机器人手。该框架利用策略蒸馏（PD）从专家策略向不断发展的学生策略网络传递知识，并集成样本回放方法以增强泛化能力和避免灾难性遗忘。研究结果表明，CPD框架在整合多个专家知识和实现多功能自适应手部操作任务方面具有较好的性能。

Apr, 2024

本研究针对安全强化学习中的阈值微调问题，提出了一种统一的无模型Lagrangian架构Meta SAC-Lag。该方法采用元梯度优化，能够自动更新安全相关的超参数，在最小的超参数调优需求下，显著提升了策略的收敛性和安全性能，验证了在模拟和现实环境中的有效性。

Aug, 2024

本研究解决了为 AI 奥林匹克竞赛开发的 acrobot 和 pendubot 的摆动提升和稳定化任务，填补了现有方法的不足。我们提出了平均奖励熵优势策略优化（AR-EAPO）算法，这是一种无模型的强化学习方法，结合了平均奖励与最大熵的方法。实验结果表明，该控制器在性能和鲁棒性方面超过了现有基准方法，且不依赖于复杂的奖励函数或系统模型。

Sep, 2024