末端执行器空间中的可变阻抗控制：接触丰富任务中的强化学习动作空间

Jun, 2019

末端执行器空间中的可变阻抗控制：接触丰富任务中的强化学习动作空间

Variable Impedance Control in End-Effector Space: An Action Space for Reinforcement Learning in Contact-Rich Tasks

Roberto Martín-Martín, Michelle A. Lee, Rachel Gardner, Silvio Savarese, Jeannette Bohg...

TL;DR本文研究了深度强化学习中不同行为空间的影响，提出了在约束和接触丰富任务中具有优势的终端执行器空间下的可变阻抗控制（VICES）。通过在三个典型的操作任务中评估多个动作空间，表明 VICES 提高了样本效率，在所有三个实验设置中保持低能量消耗，并确保安全。

Abstract

reinforcement learning (RL) of contact-rich manipulation tasks has yielded impressive results in recent years. While many studies in RL focus on varying the observation space or reward model, few efforts focused

reinforcement learning contact-rich manipulation tasks variable impedance control action space sample efficiency

发现论文，激发创造

通过反向强化学习学习力相关任务的可变阻抗控制

本文提出了一种基于逆强化学习（IRL）的方法，用于从专家演示中恢复可变阻抗策略和奖励函数，通过使用奖励函数的增益空间获得了更好的迁移能力。

Feb, 2021

机器人操作学习和仿真到真实世界转移中的动作空间作用

我们研究了机器人操作学习和从仿真到实际的转移中的行动空间选择。我们定义了评估性能的度量标准，并研究了不同行动空间的新兴特性。我们使用 13 种不同的控制空间，在模拟的抓取和推动任务中训练了超过 250 个强化学习代理。行动空间的选择涵盖了文献中的热门选择以及常见设计特征的新组合。我们对仿真中的训练性能以及向实际环境的转移进行了评估。我们确认了机器人行动空间的优点和缺点，并对未来设计提出了建议。我们的发现对于机器人操作任务的强化学习算法设计具有重要意义，并强调了在训练和转移强化学习代理时对行动空间的慎重考虑的必要性。

Dec, 2023

使用深度强化学习学习运动技能：行动空间选择的影响

本文研究了用于高维状态描述的深度强化学习，并比较了不同的动作参数表示对学习难度、策略鲁棒性、运动质量和策略查询率的影响。从多个平面关节图形和多个步态的步态循环模仿任务的结果来看，本文表明较高级别的动作参数化所提供的本地反馈可以显著影响策略的学习、鲁棒性和质量。

Nov, 2016

基于潜变量模型的端对端对话代理强化学习中的行动空间重新思考

该研究提出了一种新颖的潜在动作框架，将端到端会话代理的动作空间视为潜在变量，并开发无监督的方法从数据中诱导其自己的动作空间。实验结果表明，所提出的潜在动作在 DealOrNoDeal 和 MultiWoz 对话上实现了比以前的基于单词级策略梯度方法更好的实证绩效改进。

Feb, 2019

机器人学习中的冗余感知动作空间

通过分析机器人操作的标准，介绍了 ER（末端执行器冗余）这一新的操作空间形式，旨在综合利用关节空间和任务空间的优势，在具备超定驱动机械臂的情况下提供精细全面的控制，并在高效机器人学习方面取得了卓越表现。通过模拟和真实机器人环境验证了 ERJ 在多种设置下特别是在需要对机器人配置进行精确控制的情况下的优越性能。

Jun, 2024

研究选择对于深度强化学习在航天控制中的影响

该论文研究了使用离散动作空间，以及探索选择提供给智能体数量对其在训练期间和之后的表现的影响，针对检查任务和停靠任务的需求。结果显示对于检查任务，有限数量的离散选择导致最佳性能，而对于停靠任务，连续控制导致最佳性能。

May, 2024

一个适用于接触丰富机器人操作的安全接触强化学习框架

本文提出一种安全的强化学习框架，用于处理复杂的接触丰富的机器人操作任务，能够在任务空间和关节空间中保持安全，同时使机械臂与环境发生的接触力保持较小。该框架采用模拟训练，成功地在实际机器人上验证了其性能。

Jul, 2022

基于参考模型的深度强化学习在逆变器电压 - 无功控制中的动作空间缩减

提出基于参考模型辅助的深度强化学习方法，通过学习参考动作和最优动作之间的残留动作，缩小动作空间，优化逆变器调压控制在主动配电网中的应用性能。

Oct, 2022

机器人操作的端到端操作能力学习

本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

Sep, 2022

基于函数值动作空间的强化学习用于偏微分方程控制

本文提出了一种在深度确定性策略梯度算法中使用动作描述符的方法，可以更有效地控制高维连续动作偏微分方程。实验证明该方法比传统方法更高效。

Jun, 2018