末端执行器空间中的可变阻抗控制：接触丰富任务中的强化学习动作空间

Jun, 2019

末端执行器空间中的可变阻抗控制：接触丰富任务中的强化学习动作空间

Variable Impedance Control in End-Effector Space: An Action Space for Reinforcement Learning in Contact-Rich Tasks

Roberto Martín-Martín, Michelle A. Lee, Rachel Gardner, Silvio Savarese, Jeannette Bohg...

TL;DR本文研究了深度强化学习中不同行为空间的影响，提出了在约束和接触丰富任务中具有优势的终端执行器空间下的可变阻抗控制（VICES）。通过在三个典型的操作任务中评估多个动作空间，表明VICES提高了样本效率，在所有三个实验设置中保持低能量消耗，并确保安全。

Abstract

reinforcement learning (RL) of contact-rich manipulation tasks has yielded impressive results in recent years. While many studies in RL focus on varying the observation space or reward model, few efforts focused

发现论文，激发创造

深度强化学习下的灵巧操作：高效、通用和低成本

本文提出使用深度强化学习作为一种可扩展的解决方案，来掌握带有多指手的接触丰富行为，并展示使用模型自由的深度强化学习算法在现实世界中可以学习各种复杂的行为，同时可以通过少量的人类演示来加速学习。

Oct, 2018

一个适用于接触丰富机器人操作的安全接触强化学习框架

本文提出一种安全的强化学习框架，用于处理复杂的接触丰富的机器人操作任务，能够在任务空间和关节空间中保持安全，同时使机械臂与环境发生的接触力保持较小。该框架采用模拟训练，成功地在实际机器人上验证了其性能。

Jul, 2022

弥合示范学习中的动作空间不匹配

使用Morphological Adaptation in Imitation Learning (MAIL)框架，从3D带障碍物情况下，带有两个末端执行器的机器人的演示中训练出一个末端执行器的Franka Panda机器人的可视化控制策略，比Learning from Demonstrations和非Learning from Demonstrations基线方法提高了27%的成功率，并且在面对不同颜色、厚度、大小和材料等多变性的衣物的姿态（旋转和平移）时展现出很好的通用性。

Apr, 2023

MoDem-V2: 用于真实世界机器人操作的视觉-动作世界模型

本研究通过模型强化学习、演示增强的方法，构建了一个能够直接在真实世界中学习联系丰富的灵巧操纵技能的系统MoDem-V2，在模拟和实际环境中进行了实证研究，为直接在真实世界中进行演示增强的视觉模型强化学习提供了成功的案例。

Sep, 2023

机器人操作学习和仿真到真实世界转移中的动作空间作用

我们研究了机器人操作学习和从仿真到实际的转移中的行动空间选择。我们定义了评估性能的度量标准，并研究了不同行动空间的新兴特性。我们使用13种不同的控制空间，在模拟的抓取和推动任务中训练了超过250个强化学习代理。行动空间的选择涵盖了文献中的热门选择以及常见设计特征的新组合。我们对仿真中的训练性能以及向实际环境的转移进行了评估。我们确认了机器人行动空间的优点和缺点，并对未来设计提出了建议。我们的发现对于机器人操作任务的强化学习算法设计具有重要意义，并强调了在训练和转移强化学习代理时对行动空间的慎重考虑的必要性。

Dec, 2023

跨身份机器人操作技能的潜空间对齐传输

本文的研究重点是在具有不同形态的机器人操纵器之间传递控制策略。通过将源机器人和目标机器人的状态和动作空间投影到一个共同的潜在空间来实现跨机器人的策略转移。我们使用编码器、解码器和潜在空间控制策略同时进行训练，利用任务表现、潜在动力学一致性和编码器-解码器能力来重构原始状态和动作。为了转移学得的控制策略，我们只需要训练目标编码器和解码器来将新的目标领域对齐到潜在空间。我们使用生成对抗训练，通过循环一致性和潜在动力学损失，在目标领域中无需访问任务奖励或奖励调整，展示了模拟环境到真实环境以及不同状态、动作和形态的机器人之间的策略转移。

Jun, 2024

机器人学习中的冗余感知动作空间

通过分析机器人操作的标准，介绍了ER（末端执行器冗余）这一新的操作空间形式，旨在综合利用关节空间和任务空间的优势，在具备超定驱动机械臂的情况下提供精细全面的控制，并在高效机器人学习方面取得了卓越表现。通过模拟和真实机器人环境验证了ERJ在多种设置下特别是在需要对机器人配置进行精确控制的情况下的优越性能。

Jun, 2024

从少量示范学习双臂机器人带有触觉反馈遥操作系统的可变柔顺控制

通过虚拟现实控制器提供直观且经济的任务演示方法，结合动作块划分和变量合规性控制的方法，提高了刚性机器人的灵活适应性和安全性。

Jun, 2024

机器人学习中力-运动法的缺陷

机器人操控需要准确的运动和物理交互控制，但是现有的机器人学习方法侧重于以动作空间为中心，没有明确给予策略对交互的控制。本文讨论了这种选择的后果，并提出了在机器人学习中更多地使用明确交互的动作空间的观点。

Jul, 2024

从示范中学习扩散策略以实现顺应接触密集的操作

本研究针对机器人在接触密集和动态环境中缺乏人类灵活性的问题，提出了一种名为DIPCOM的扩散策略框架，用于顺应控制任务。通过多模态分布建模和生成扩散模型，该方法有效提高了机器人在任务中的力控制能力，并在真实任务中验证了其有效性。

Oct, 2024