Sep, 2018

家庭物品语义机器人抓取的深度物体姿态估计

PDF
TL;DR通过使用合成数据，我们提出了一种用于单个 RGB 图像的已知物体 6-DoF 姿态估计的深度神经网络训练方法，成功地跨越了所谓的现实间隙，并通过机器人进行了实时物体姿态估计，取得了与基于真实数据的深度神经网络相当的表现。
发现论文，激发创造
  • 使用在合成 RGB-D 上训练的深度网络实现语义姿态

    通过深度卷积神经网络实现室内场景理解的任务。为了克服 RGB-D 训练数据不足的问题，采用实时渲染技术生成合成室内场景，并通过迁移学习的方式使得模型能够处理具有高度挑战性的真实场景。该神经网络具备较短的运行时间，可同时估计类别、姿态和位置等参数。

    Aug, 2015

  • 基于合成数据的鲁棒性类别层次 3D 姿态估计

    本篇论文提出 SyntheticP3D 数据集和 CC3D 方法，结合这两种方法可以实现在只用 10% 的真实数据的情况下，与当前最先进的模型在物体位姿估计方面取得了可与之媲美结果，在采用 50% 的真实数据时还超越了 SOTA 模型 10.4%。

    May, 2023

  • 家用物品机器人操作的 6 自由度位姿估计：可访问数据集和基准

    本文介绍了一个新的数据集，用于 6-DoF 姿态估计已知物体，在机器人操作研究方面重要。数据集由一组玩具杂货物品组成，旨在方便机器人抓取和操纵，提供了这些物品的 3D 模型和 RGBD 图像，可用于产生合成训练数据，并提出了一个新的姿态评估指标 ADD-H。

    Mar, 2022

  • 使用合成数据校准图像残留值实现基于数据的 6D 位姿跟踪

    该研究提出了一种基于数据驱动的优化方法，用于长期跟踪 6D 姿态，通过使用新颖的神经网络架构和有效的 Lie 代数 3D 方向表示法，可以同时减少域偏移，实现在虚拟数据集和真实图像上的更好表现。

    Jul, 2020

  • 透视流聚合用于数据受限的 6D 物体姿态估计

    本文提出了一种基于合成图像或少量真实图像训练的 6D 物体位姿估计方法，使用第一网络获得粗略姿态估计后，使用第二网络预测精细的二维对应场，并推断所需的姿态纠正，该方法在显著减少合成图像与真实图像领域差异的情况下具有与需要标注真实图像训练的方法相当的性能，而在使用 20 张真实图像时，它的性能明显优于它们。

    Mar, 2022

  • 使用合成数据训练深度网络：通过域随机化缩小现实差距

    该研究提供了一种基于合成图像训练深层神经网络对象检测的系统，并探讨了领域随机化技术的重要性及其在检测 KITTI 数据集上的应用。

    Apr, 2018

  • 基于 Sim2real 转移学习的 3D 人体姿势估计：动作拯救

    通过提取运动信息（光流和二维关键点），我们展示了神经网络方法可以在仅使用 SURREAL 合成数据的情况下与最先进的基于真实 3D 序列训练的方法相媲美地从 3D 视角估计人体姿态。

    Jul, 2019

  • 外置单目 RGB 相机间接目标到机器人姿态估计

    本文提出了一种机器人抓取系统，使用单个外部单目 RGB 摄像头作为输入，在不同的神经网络的协同作用下模拟抓取各种家庭物品的过程。

    Aug, 2020

  • 外科手术器械六自由度姿态估计的真实数据生成

    通过改进的仿真环境为外科机器人提供了大规模、多样化的 6D 姿态估计数据集，证明了所提系统在培训和评估外科机器人视觉算法方面的成功。

    Jun, 2024

  • 通过双目视觉使纯合成数据实现鲁棒性未知物体操作的 SimNet

    提出了一种机器人感知的模拟到现实（sim-to-real transfer）方法，使用单个多头神经网络将模拟立体数据作为输入，输出模拟对象分割掩码、3D 定向边界框、对象关键点和视差等，通过学习过的立体子网络进行预测。该方法在机器人对未知对象的 2D 检测、未知物体检测和可变形物体关键点检测方面表现出色，能够高效且准确地抓取对象，甚至包括透明对象等难处理的物品。

    Jun, 2021