Jul, 2020

机器人环境下看不见物体实例分割

PDF
TL;DR为了使机器人能够在非结构化环境中起作用，该研究提出了一种名为 UOIS-Net 的新颖方法，该方法利用合成 RGB 和深度数据分别用于识别表面上未见过的物体，并且可以训练机器人对它们进行抓取。通过提供大量的实验结果，本研究证明了该方法优于同类方法。
robotsunseen object recognitionsynthetic datasegmentationrobot grasping
发现论文，激发创造
  • 双模态融合：分别利用 RGB 和深度进行未见目标实例分割

    本篇论文提出了一种使用合成 RGB 和深度图像数据实现表面外目标实例分割的新方法，该方法能够学习非真实感 RGB-D 数据，并在机器人抓取任务中表现出色。

    Jul, 2019

  • 学习 RGB-D 特征嵌入以进行未见过的物体实例分割

    通过学习来自合成数据的 RGB-D 特征嵌入，引入了一种新的方法来实现未知物体实例的分割，其中使用度量学习损失函数来产生像素级特征嵌入，以便在嵌入空间中将同一对象的像素靠近，并将不同对象的像素分开。通过使用学习到的特征嵌入，可以将平均漂移聚类算法应用于发现和分段未知对象，对此进一步改进了分段的准确性。我们的方法证明，非真实光线的合成 RGB 和深度图像可以用于学习特征嵌入，从而实现在未知物体实例分割方面的好的迁移效果。

    Jul, 2020

  • RISeg：机器人通过身体帧不变特征进行交互式目标分割

    通过使用机器人的互动和设计的具有变换不变性的体框特征，我们提出了一种改正不准确分割的新方法，可以显著提高不确定性驱动的分割准确性，并实现平均 80.7% 的物体分割准确率，相较其他最先进的无人物体实例分割方法提高了 28.2%。

    Mar, 2024

  • 通过双目视觉使纯合成数据实现鲁棒性未知物体操作的 SimNet

    提出了一种机器人感知的模拟到现实（sim-to-real transfer）方法，使用单个多头神经网络将模拟立体数据作为输入，输出模拟对象分割掩码、3D 定向边界框、对象关键点和视差等，通过学习过的立体子网络进行预测。该方法在机器人对未知对象的 2D 检测、未知物体检测和可变形物体关键点检测方面表现出色，能够高效且准确地抓取对象，甚至包括透明对象等难处理的物品。

    Jun, 2021

  • DoUnseen：面向机器人抓取的零样本物体检测

    本研究提出了一种零样本物体检测器，适用于开放集合，且不需预先知道物体类型，可以在抓取物体前几张图像后即可加入物体作为新的类别，并通过将未见物体分割网络级联零样本分类器的方式来打破分割管道的步骤。

    Apr, 2023

  • 物理交互自监督迁移学习用于实例分割

    该论文提出了自监督学习的迁移学习方法，通过机器人与环境互动自主地推动未知物体并使用光学流来创建自我标记的训练数据以实现实例分割。最终，他们提出的 SelfDeepMask 模型在挑战性场景下对 DeepMask 模型的平均精度提高了 9.5%。

    May, 2020

  • 机器人监督学习目标分割

    本文提出了一种基于深度学习的机器人物体分割方法，通过解决两个子问题：机械臂与物体与背景的分割和物体与机械臂的分割，实现了无需人工标注数据即可训练网络的自我识别能力，实验证明该方法优于现有最优的自适应手持物体分割算法，并通过测试数据表明使用包含手持物体的自动标注图像的训练集可以提高物体在环境中的分割性能。

    Apr, 2019

  • 通过自监督学习从无标签 RGB-D 视频中学习物体分割

    该论文提出了一个自超视自学的物体分割系统，其训练过程利用了点云的超分割结果，利用图匹配算法和点云配准结合检测出 3D 假标签上的再现物体模式并生成 2D 掩码。实验证明，该方法在真实和合成的视频数据集上的表现优于现有的无监督方法。

    Apr, 2023

  • STOW: 仓库拣选机器人中未见过物体的离散帧分割和跟踪

    在动态工业机器人环境中，对离散帧中未见物体实例的分割和跟踪构成了一项重要挑战。我们通过引入新的合成和真实世界数据集，以及在离散帧中进行联合分割和跟踪的新范式，以及一个促进帧间通信的转换器模块，应对这些挑战，实验证明我们的方法明显优于最近的方法。

    Nov, 2023

  • 无监督域自适应多通道语义分割

    该论文介绍了两种方法来利用多通道输入和无监督域自适应算法来提高机器人对真实图片的语义分割结果，其中一种是基于深度图像的融合方法，另一种是基于深度图像的多任务学习方法，并创建了相应的基准测试。

    Dec, 2018