学习 RGB-D 特征嵌入以进行未见过的物体实例分割

Jul, 2020

学习 RGB-D 特征嵌入以进行未见过的物体实例分割

Learning RGB-D Feature Embeddings for Unseen Object Instance Segmentation

Yu Xiang, Christopher Xie, Arsalan Mousavian, Dieter Fox

TL;DR通过学习来自合成数据的 RGB-D 特征嵌入，引入了一种新的方法来实现未知物体实例的分割，其中使用度量学习损失函数来产生像素级特征嵌入，以便在嵌入空间中将同一对象的像素靠近，并将不同对象的像素分开。通过使用学习到的特征嵌入，可以将平均漂移聚类算法应用于发现和分段未知对象，对此进一步改进了分段的准确性。我们的方法证明，非真实光线的合成 RGB 和深度图像可以用于学习特征嵌入，从而实现在未知物体实例分割方面的好的迁移效果。

Abstract

Segmenting unseen objects in cluttered scenes is an important skill that robots need to acquire in order to perform tasks in new environments. In this work, we propose a new method for unseen object instance segmentation by learning →

unseen object instance segmentation rgb-d feature embeddings metric learning loss function mean shift clustering algorithm two-stage clustering algorithm

发现论文，激发创造

双模态融合：分别利用 RGB 和深度进行未见目标实例分割

本篇论文提出了一种使用合成 RGB 和深度图像数据实现表面外目标实例分割的新方法，该方法能够学习非真实感 RGB-D 数据，并在机器人抓取任务中表现出色。

Jul, 2019

通过自监督学习从无标签 RGB-D 视频中学习物体分割

该论文提出了一个自超视自学的物体分割系统，其训练过程利用了点云的超分割结果，利用图匹配算法和点云配准结合检测出 3D 假标签上的再现物体模式并生成 2D 掩码。实验证明，该方法在真实和合成的视频数据集上的表现优于现有的无监督方法。

Apr, 2023

机器人环境下看不见物体实例分割

为了使机器人能够在非结构化环境中起作用，该研究提出了一种名为 UOIS-Net 的新颖方法，该方法利用合成 RGB 和深度数据分别用于识别表面上未见过的物体，并且可以训练机器人对它们进行抓取。通过提供大量的实验结果，本研究证明了该方法优于同类方法。

Jul, 2020

基于 RGB-D 室内数据的深度学习三维实例分割

通过将深度学习与 RGB-D 数据相结合，提出了一种用于高效 3D 实例分割的新方法，该方法通过点状渲染模块将 2D 区域卷积神经网络（Mask R-CNN）模型与深度信息集成，可以识别和分割对象的 3D 实例，实验证明该方法对于支持机器人和智能系统中的物体处理非常有益。

Jun, 2024

基于 RGB-D 图像学习丰富特征的物体检测和分割

本文研究使用语义丰富的图像和深度特征进行 RGB-D 图像目标检测问题。我们提出了一种新的地心嵌入深度图像的方法，该方法编码了每个像素相对于地面的高度和重力角度，以及水平视差。我们证明了这种地心嵌入方法比使用原始深度图像更适用于使用卷积神经网络进行特征表示学习。最后，我们使用对象检测器的输出在现有的超像素分类框架中进行语义场景分割，并在我们研究的对象类别中实现了 24％的相对改进。

Jul, 2014

RGB-D 目标检测与语义分割用于杂乱环境中的自主操作

通过利用深度融合技术和深度学习的物体检测和语义分割算法，我们成功地解决了在复杂场景中感知目标物体的问题，并在 Amazon Picking Challenge2016 和紧急响应场景数据集上进行了验证。

Oct, 2018

基于 RGBD 感知的语义分割增量式类别发现

本文提出了一种使用 RGBD sensing 的增量学习方法来进行开放式世界的语义分割，使用三维地图表示方法来标记没有语义标签的区域，实现对新的物体类别的识别及聚类。通过实验验证，该方法能够正确聚类已知和未知类别的对象，并且比现有的监督式方法具有更快的处理时间及更高的性能。

Jul, 2019

无监督视频目标分割中的实例嵌入迁移

提出一种用于无监督视频目标分割的方法，通过转移图像实例嵌入网络中封装的知识。通过将实例嵌入与物体性和光流特征相结合，无需模型重新训练或在线微调，即可将物体链接起来。该方法在 DAVIS 数据集和 FBMS 数据集上优于最先进的无监督分割方法。

Jan, 2018

无监督域自适应多通道语义分割

该论文介绍了两种方法来利用多通道输入和无监督域自适应算法来提高机器人对真实图片的语义分割结果，其中一种是基于深度图像的融合方法，另一种是基于深度图像的多任务学习方法，并创建了相应的基准测试。

Dec, 2018

三维实例感知语义映射与三维物体发现

该文提出了一种用于机器人地图实时构建的方法，其中，在实时扫描的同时，使用语义实例识别和多帧数据关联技术来构建基于物体的语义地图。评估结果表明，该方法能够有效地识别和跟踪预测的物体实例，并与最先进的方法竞争。

Mar, 2019