利用隐式行为克隆和动态运动基元促进机器人动作规划的强化学习

Jul, 2023

利用隐式行为克隆和动态运动基元促进机器人动作规划的强化学习

Using Implicit Behavior Cloning and Dynamic Movement Primitive to Facilitate Reinforcement Learning for Robot Motion Planning

PDF

Zengjie Zhang, Jayden Hong, Amir Soufi Enayati, Homayoun Najjaran

TL;DR提出了一种基于强化学习的机器人运动规划框架，使用隐式行为克隆和动态运动原语来提高离线强化学习代理的训练速度和泛化能力，同时提供了人类示范数据集，实验结果表明了该方法在模拟环境下的优势以及实际装配任务的适用性。

Abstract

reinforcement learning (RL) for motion planning of multi-degree-of-freedom robots still suffers from low efficiency in terms of slow training speed and poor generalizability. In this paper, we propose a novel RL-

reinforcement learning motion planning multi-degree-of-freedom robots implicit behavior cloning dynamic movement primitive

发现论文，激发创造

通过动态运动基元增强顺应性的人机技能转移

提出了一种系统的方法来从人类演示中提取动态特征，以自动调整 DMP 框架中的参数，此方法可与 LfD 和 RL 一同使用，可使机器人更有效地探索可能的轨迹，从而显着提高机器人的遵从性，并在实际的人机交互实验中得以验证。

Apr, 2023

基于运动基元的（再）规划策略

本文介绍了一种名为 MP3 的深度强化学习方法，它通过将运动原语（MPs）整合到深度 RL 框架中，实现了在整个学习过程中生成平滑轨迹的能力，同时有效地从稀疏且非马尔可夫奖励中学习，还具有在执行过程中适应环境变化的能力，该方法相较于现有的深度 RL 和 RL 结合 MPs 等方法，在复杂、稀疏奖励环境和需要重规划的领域中表现出更好的性能。

Jun, 2023

基于深度强化学习的密集与动态环境中的多智能体运动规划

本文介绍深度强化学习算法和基于力的运动规划算法的混合算法，在稠密和动态环境下解决分布式运动规划问题，并且能够更好地解决时间最优性和冲撞问题。

Jan, 2020

基于强化学习的行为规划与采样运动规划的自动驾驶集成

本文提出一种利用深度强化学习的自主驾驶行为规划模型，通过预测未来交通情况，将高层行为规划接口化，并通过循环规划策略进行实验验证。

Apr, 2023

运动基元扩散：学习可变形物体的轻柔机器人操纵

机器人辅助手术中的政策学习存在数据效率低和多功能性方法不足的问题，本研究引入了运动原始扩散（MPD），一种新的机器人辅助手术中的模仿学习方法，专注于可变形物体的轻柔操控，通过将扩散型模仿学习（DIL）的多功能性与概率动态运动原始（ProDMPs）的高质量运动生成能力相结合，实现了 MPD 对可变形物体的轻柔操控，同时保持了对稀缺演示数据至关重要的数据效率，通过在多个模拟任务和真实世界的机器人设置上评估 MPD 在状态和图像观测方面表现出优于现有 DIL 方法的成功率、运动质量和数据效率。

Dec, 2023

受限动态移动原理在运动技能安全学习中的应用

本文提出了一种基于动态动作原理的运动控制方法 CDMP，通过非线性优化来实现约束条件（如障碍物避让、工作空间限制）的满足，并在不同机器人以及环境下验证了该方法的有效性。

Sep, 2022

动态运动原理的概率表示

本文介绍了如何将动态运动原始 (Dynamic Movement Primitives) 重构为具有控制输入的概率线性动态系统。通过这种概率表示，本文显示了卡尔曼滤波和平滑等算法在执行期间对前感觉传感器测量进行推理的可直接应用。我们进一步展示了推理如何通过反馈项自动调节 DMP 的执行，并测量成功执行给定运动基元的可能性。在这种情况下，我们展示了使用概率模型在模拟运动基元数据集中检测执行失败的初步结果。

Dec, 2016

隐式行为克隆

在机器人策略学习中，使用隐式模型的监督策略学习通常表现更好，这种策略不需要奖励信息，可以学习复杂的行为，并能够在具有高度组合复杂性和毫米级精度要求的任务中学习人类示范的复杂行为。

Sep, 2021

利用强化学习进行神经运动规划

本研究通过比较监督式学习与强化学习算法，提出了一个适用于动作规划领域的 DDPG-MP 算法，该算法有助于解决运动规划中数据不足的问题，并在新领域的规划中实现了较快速度。

Jun, 2019

基于深度强化学习的预测性机动规划（PMP-DRL）用于舒适和安全的自动驾驶

本文提出了一种使用深度强化学习进行的预测机动规划模型，该模型结合了预测模型和 RL 代理以实现舒适和安全的机动规划，通过使用历史驾驶数据训练预测模型，将周围车辆的过去和预测的未来位置嵌入到上下文感知的网格地图中进行学习，同时，RL 代理学习基于时空上下文信息进行机动规划，该模型在公开可用的 NGSIM US101 和 I80 数据集中进行了性能评估。

Jun, 2023