Oct, 2023

ImageManip: 图像基于机器人操作的可支配性导向下一视角选择

PDF
TL;DR基于图像的机器人操纵系统，利用多个视角捕捉目标物体，推断深度信息以补充其几何信息，采用几何一致性融合视角，实现精确操纵决策。
3d articulated object manipulation3d point cloudsrgb imagesrobotic manipulation frameworkgeometric consistency
发现论文，激发创造
  • RGB-D 目标检测与语义分割用于杂乱环境中的自主操作

    通过利用深度融合技术和深度学习的物体检测和语义分割算法，我们成功地解决了在复杂场景中感知目标物体的问题，并在 Amazon Picking Challenge2016 和紧急响应场景数据集上进行了验证。

    Oct, 2018

  • 利用单个人类视频的基于视觉的开放世界物体图形操作

    通过从单个人类视频中提取以对象为中心的操纵计划并推导出条件为提取计划的策略，我们提出了一种以对象为中心的方法，为机器人学习基于视觉的操纵技能提供支持。我们的方法允许机器人从 iPad 等日常移动设备捕获的视频中学习，并将策略推广到具有不同视觉背景、摄像机角度、空间布局和新颖对象实例的部署环境中。通过对短程和长程任务进行系统评估，我们展示了 ORION 在从单个人类视频中学习开放世界中的有效性。

    May, 2024

  • 一种基于距离几何的方法，用于从 RGB 图像恢复机器人关节角度

    提出了一种利用单个 RGB 图像来检索机器人手臂的关节角度的新方法，该方法基于运动规划和控制算法所需的准确联合角度数据的收集，将机器人运动与物理空间中的距离几何表示联系起来，利用机器人的运动学模型训练一个浅层神经网络来预测结构关键点间的距离，并通过多维缩小和简单的逆运动学过程来恢复关节角度。本文在 Franka Emika Panda 手臂的真实 RGB 图像上展示了该方法的高效性和稳健的泛化能力，以及该方法可以轻松地与密集的细化技术相结合以获得更好的结果。

    Jan, 2023

  • 机器人操作的端到端操作能力学习

    本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

    Sep, 2022

  • Robo360：一种三维全方位多材料机器人操作数据集

    Robo360 是一个数据集，具有密集的视角覆盖，可实现高质量的 3D 神经表示学习，包含多样的物体和各种物理光学属性，促进各种物体操作和物理世界建模任务的研究。通过使用现有的动态 NeRF 验证我们数据集的有效性，并评估其在学习多视角策略方面的潜力。我们希望 Robo360 能在理解 3D 物理世界和机器人控制交叉领域开辟新的研究方向。

    Dec, 2023

  • 通过视觉规划和执行学习机器人操作

    本文提出了一种基于数据驱动的建模方法，利用深度生成模型学习目标定向的物体操作，采用视觉规划和视觉跟踪控制解决目标检测问题。

    May, 2019

  • 从单幅图像理解 3D 物体交互

    本文提出一种基于 Transformer 的模型以实现机器的多物体理解，物体控制及 3D 场景探索，主要方法为预测物体的 3D 位置，物理属性及可访问性，通过自己收集和验证数据集来证明该模型对网络视频，比如第一人称视角视频和室内图像产生较好泛化能力。

    May, 2023

  • 从 RGB 视频中构建 3D 人物 - 物体关系：方法和挑战的实证分析

    研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态，通过系统性实验验证了五种方法的可行性，结果显示这一任务具有很大挑战性并提出了未来工作方向。

    Sep, 2022

  • 机器人操作的通用语义几何表现

    本文提出一种名为语义几何表征（SGR）的感知模块，旨在整合 RGB 和深度相机的信息，以更好地学习机器人感知和控制的表征，实验结果表明，SGR 在单任务和多任务设置下的表现均显著优于其他方法，并具有到新语义属性的泛化能力。

    Jun, 2023

  • 末端到端的视觉运动控制的可供性学习

    采用模块化神经网络体系结构，利用合成数据和模拟技术，通过低维潜在表示生成场景可用性，成功训练机械臂政策。同时，提出了一种数据集生成方法，可轻松推广到新任务、对象和环境，无需手动像素标记。

    Mar, 2019