Feb, 2023

基于演示引导的强化学习及高效探索技术用于手术机器人任务自动化

PDF
TL;DR本文介绍了一种基于强化学习的手术自动化算法，使用专家演示数据来提高任务探索效率并克服探索挑战。实验显示该算法在 $10$ 个手术操作任务中取得了显著的提高，并在实际机器人上展示了有效性。
surgical automationreinforcement learningexpert demonstrationsexploration challengedex
发现论文，激发创造
  • 利用演示克服强化学习中的探索问题

    本研究利用示范来解决强化学习中稀疏奖励的探索问题，成功地学习了长期、多步骤的机器人任务，方法使用了 DDPG 和 HER 算法，提供了一种在仿真机器人任务上比以往 RL 算法快一个数量级的加速，方法易于实现，能够解决在行为克隆和 RL 算法中 都无法解决的任务，并且往往表现优于示范策略。

    Sep, 2017

  • 基于演示引导的强化学习与学得技能

    本文提出了一种基于示教引导的强化学习方法，该方法通过提取任务中共享的子任务结构，从而显著提高学习效率，并且在迷宫导航和复杂机器人操纵任务上进行了验证。

    Jul, 2021

  • MoDem: 利用演示加速视觉基于模型的强化学习

    利用演示可以显著提高模型学习效率，在这项工作中，我们确定了利用演示进行模型学习的关键因素，即策略预训练，有针对性的探索和演示数据的过采样，这三个阶段构成了我们的基于模型的 RL 框架。

    Dec, 2022

  • 基于深度强化学习的半自主机器人手术控制

    本文提出了一种基于深度强化学习的半自主控制方法，可帮助外科机器人在手术过程中完成一些简单但重复的操作，用户实验表明此框架可将手术时间缩短 19.1％，行程长度缩短 58.7％。

    Apr, 2022

  • 面向外界开放的外科机器人强化学习环境

    开发了第一个基于强化学习的外科手术机器人环境 ——dVRL，通过 RL 环境演示了在外科手术中实现自主机器人精准和协作问题的最新算法策略。

    Mar, 2019

  • 从次优演示中学习奖励的应用于外科电凝

    通过学习演示（LfD）技术实现自动化机器人手术非常具有挑战性，本文介绍了一种从有限数量的次优演示中学习强健奖励函数的方法，并通过强化学习（RL）优化学习到的奖励函数来学习策略。通过在一个物理手术电刀任务上应用我们的方法，我们证明了即使提供的演示是次优的、观察是高维点云时，我们的方法仍然可以表现出色。

    Apr, 2024

  • 利用演示来解决机器人问题中稀疏奖励的深度强化学习

    本文提出了一种利用展示学习技术来解决高维度控制问题的机器人强化学习方法。该方法基于 Deep Deterministic Policy Gradient 算法，通过人体运动学控制收集演示并不需要专门设计的奖励函数，可应用于插入操作等实际机器操作中。

    Jul, 2017

  • 使用示范加速强化学习和规划：一项调查

    本综述介绍了在复杂环境下采用启发式专家经验演示来加速强化学习决策的优点，讨论了演示在决策学习中各种应用方法，并提供了一个实用的流程示例用于生成和利用演示。

    Mar, 2023

  • 使用深度强化学习和演示学习复杂的手部操作技能

    本研究展示了无模型深度强化学习可有效扩展到高维复杂操作任务，并通过少量人工演示显著降低样本复杂度，从而使学习具有与机器人体验几个小时相当的样本量，展示出非常自然的动作并且更加稳健。

    Sep, 2017

  • 自主软组织回缩的示范引导增强学习

    利用模拟环境、软件操作系统以及先进的机器人技术，本研究证明了通过强化学习算法学习软组织操控的可行性，为未来研究和开发能够处理刚性和软组织相互作用的外科机器人奠定了基础。

    Sep, 2023