Apr, 2024

基于部件引导的三维强化学习用于仿真到实物的关节物体操控

PDF
TL;DR通过视觉反馈操纵不可见的关节对象对于实际机器人而言是一项关键但具有挑战性的任务。本文提出了一个新颖的部件导向的 3D RL 框架，可以在没有示范的情况下学习操纵关节对象。实验结果在仿真环境和真实世界环境中证明了我们框架的有效性。
unseen articulated objectsvisual feedbacklearning-based solutionsmanipulation policies3d rl framework
发现论文，激发创造
  • FlowBot3D：学习 3D 关节流来操纵关节对象

    采用基于视觉的系统和神经网络，我们提出了一种使用密集的向量场来预测各种关节物体的潜在运动的方法，并在此基础上展开手部的运动规划用于操纵各种对象，实验结果表明该系统在模拟和现实世界中均取得了最优良好的表现。

    May, 2022

  • 使用引导式策略搜索学习接触丰富型操作技能

    本文介绍了一种用于学习具有高度通用策略表示的动态操作行为的新方法，该方法可以扩展最近开发的策略搜索方法，并使用迭代重新拟合的时间变化线性模型来学习所需运动技能的一组轨迹，然后将这些轨迹统一到一个单一的控制策略中。

    Jan, 2015

  • 面向可泛化的关节式物体操作的运动感知提示

    通过在大型语言模型（LLMs）中引入物体的运动学知识，我们提出了一个运动学感知的提示框架，来生成各种物体操作的低层运动轨迹航点，从而实现智能机器人的通用操控。我们的实验结果表明，该框架在 8 个已知物体类别上表现优于传统方法，并且在 8 个未知的关节式物体类别上展现出强大的零样本能力。同时，我们在 7 个不同的物体类别上进行的真实世界实验也证明了该框架在实际场景中的适应性。

    Nov, 2023

  • 机器人操作的端到端操作能力学习

    本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

    Sep, 2022

  • 通过视觉规划和执行学习机器人操作

    本文提出了一种基于数据驱动的建模方法，利用深度生成模型学习目标定向的物体操作，采用视觉规划和视觉跟踪控制解决目标检测问题。

    May, 2019

  • 自监督适应深度神经网络实现机器人视觉操作

    使用深度强化学习隐式地在仿真环境中学习潜在的状态表示，并通过无标签的真实机器人数据将其调整到真实环境中，以实现从像素中执行操作任务。通过序列自监督目标优化对比正向动力学损失，提出了一种更加有效的方法，成功地训练基于视觉的强化学习智能体来堆叠方块。

    Oct, 2019

  • 基于物体姿态估计和主动学习的虚拟现实：实现具有空中操纵能力的遥控机器人

    本文提出了一种新型遥控系统，包含了触觉设备以及虚拟现实界面，应用于动态和非结构化环境下的空中机器人操作。利用多个传感器进行感知、姿态估计以及神经网络的主动学习等算法，针对工业领域的任务进行了验证实验，并展示了该系统在未来工业应用中的可行性。

    Oct, 2022

  • 采用分层式 Sim2Real 实现的多智能体运动操控

    采用强化学习方法通过层次性模拟实现在多移动机器人协作下的操纵行为。

    Aug, 2019

  • 可变形物体操作的仿真增强学习

    采用最先进的深度强化学习算法，通过领域随机化，在仿真环境中训练代理程序以解决可变形物体操作问题，并成功将其部署在实际工作中。

    Jun, 2018

  • 基于模拟运动演示的机器人操纵强化学习

    本文提出了一种新的机器人操作方法，该方法利用了物体本身的运动学习，通过使用物理模拟器中的对象运动策略生成辅助奖励，称为模拟运动演示奖励（SLDRs），该方法可以在不需要人类演示或昂贵成本的情况下，通过强化学习来掌握机器人操作技能，从而实现多物体堆放和非刚性物体操作等任务的更高成功率和更快学习。

    Oct, 2019