Nov, 2019

操纵变形线性物体的状态估计自监督学习

PDF
TL;DR本文提出了一种基于状态空间表示和自我监督训练技术的视觉机器人操作方法，通过估计可变形物体状态、训练神经网络动力学模型以及采用模型预测控制器，实现高效而准确的物体操纵。
visual robot manipulationstate-space representationself-supervised trainingneural network dynamics modelmodel predictive controller
发现论文，激发创造
  • 机器人操控的自监督 6D 物体位姿估计

    这篇论文介绍了一个机器人系统，可以通过自主学习的方式进行物体位姿估计，并通过环境中的物体抓取或推动的交互方式持续收集数据并完善其位姿估计模块，从而提高对象分割和 6D 姿态估计的性能。

    Sep, 2019

  • 自监督适应深度神经网络实现机器人视觉操作

    使用深度强化学习隐式地在仿真环境中学习潜在的状态表示，并通过无标签的真实机器人数据将其调整到真实环境中，以实现从像素中执行操作任务。通过序列自监督目标优化对比正向动力学损失，提出了一种更加有效的方法，成功地训练基于视觉的强化学习智能体来堆叠方块。

    Oct, 2019

  • 利用 Contrastive Estimation 学习变形物体的预测表示

    本研究提出了一种新的学习框架，使用对比估计来同时优化可视化表达模型和动态模型，在随机扰动变形对象并收集了模拟数据后，离线学习这些对象的潜在动态模型，随后使用简单的模型规划来解决具有挑战性的变形对象操纵任务，实验结果表明其性能优于传统模型学习技术，并通过域随机化将其可视化操纵策略从模拟数据成功地迁移到现实中的 PR2 机器人中。

    Mar, 2020

  • 结合自监督学习和模仿技巧实现基于视觉的绳索操作

    这篇论文提出了一种基于学习的系统，通过自监督学习从图像中学习绳索操纵的像素级逆动力学模型，并使用高低级计划成功地模仿人类示范，将可变形物体如绳索和布料进行操纵。

    Mar, 2017

  • 可变形物体操作的仿真增强学习

    采用最先进的深度强化学习算法，通过领域随机化，在仿真环境中训练代理程序以解决可变形物体操作问题，并成功将其部署在实际工作中。

    Jun, 2018

  • 从单个演示到机器人操作的粗到细模仿学习

    本文介绍了一种用于视觉模仿学习的简单方法，可以从一个人类演示中学习机器人操作任务，而无需先前了解与对象的交互情况，并且可以通过自监督学习进行训练。在实现过程中，该方法将模仿学习建模为状态估计问题，以目标交互开始时末端执行器的姿态作为状态，在自监督训练过程中让末端执行器的摄像头围绕对象自动移动。 最终，在测试时，机器人通过一条线性路径移动到预测的状态，然后简单地重放演示的末端执行器速度，从而获得了一个复杂的交互轨迹，而无需明确学习策略。在常见的 8 个任务上进行的实现结果表明，这种方法可以从单个人类演示中学习出多样的技能，并产生稳定且可解释的控制器。

    May, 2021

  • 精细操作的纯状态模仿学习

    研究了在复杂领域中，采用反向动力学模型辅助的状态模仿学习方法，并将其与传统的专家演示方法相比，证明了该方法在不同动力学、形态、物体的模拟学习中表现出了良好的优越性能。

    Apr, 2020

  • 使用基于物理环境的状态表示学习对物体集合进行操作

    提出了一种基于模拟器状态信息用于面向多物体的机器人学习的方法：通过训练一对编码器网络来捕捉潜变量空间中的多物体状态信息，其中一个编码器是卷积神经网络，另一个是图神经网络状态编码器，这使得我们的系统能够操作现实世界中的 RGB 图像，有效地进行多物体操纵的强化学习训练，取得比传统基于图像或固定长度状态编码的方法更高的成功率，在不调参的情况下也在真实世界中表现良好，并且泛化到在训练时未见过的不同数量和类型的物体。

    Sep, 2019

  • 深度空间自编码器用于视觉机器人学习

    该研究采用增强学习的方法，通过深度空间自编码器从摄像头图像中直接学习状态表征，以实现对环境进行特征点提取和控制的闭环控制，展示了 PR2 机器人在推动自由玩具方块、使用铲子拿起一袋米和在不同位置将绳环悬挂在钩子上等任务中自动学习控制的成功案例。

    Sep, 2015

  • 基于模型的视觉演示逆强化学习

    本文介绍了一种基于梯度的反向强化学习框架，利用预训练的视觉动态模型从视觉人类演示中学习成本函数，并通过视觉模型预测控制来复制演示行为，以解决机器人操作中的未知动力学等问题。我们在两个基本的对象操作任务上评估了我们的框架。

    Oct, 2020