基于 RGB-D 图像学习丰富特征的物体检测和分割

ECCVJul, 2014

基于 RGB-D 图像学习丰富特征的物体检测和分割

Learning Rich Features from RGB-D Images for Object Detection and Segmentation

Saurabh Gupta, Ross Girshick, Pablo Arbeláez, Jitendra Malik

TL;DR本文研究使用语义丰富的图像和深度特征进行 RGB-D 图像目标检测问题。我们提出了一种新的地心嵌入深度图像的方法，该方法编码了每个像素相对于地面的高度和重力角度，以及水平视差。我们证明了这种地心嵌入方法比使用原始深度图像更适用于使用卷积神经网络进行特征表示学习。最后，我们使用对象检测器的输出在现有的超像素分类框架中进行语义场景分割，并在我们研究的对象类别中实现了 24％的相对改进。

Abstract

In this paper we study the problem of object detection for rgb-d images using semantically rich image and depth features. We propose a new geocentric embedding for depth images that encodes height above ground an

object detection rgb-d images geocentric embedding instance segmentation semantic scene segmentation

发现论文，激发创造

基于 RGB-D 室内数据的深度学习三维实例分割

通过将深度学习与 RGB-D 数据相结合，提出了一种用于高效 3D 实例分割的新方法，该方法通过点状渲染模块将 2D 区域卷积神经网络（Mask R-CNN）模型与深度信息集成，可以识别和分割对象的 3D 实例，实验证明该方法对于支持机器人和智能系统中的物体处理非常有益。

Jun, 2024

基于 RGBD 感知的语义分割增量式类别发现

本文提出了一种使用 RGBD sensing 的增量学习方法来进行开放式世界的语义分割，使用三维地图表示方法来标记没有语义标签的区域，实现对新的物体类别的识别及聚类。通过实验验证，该方法能够正确聚类已知和未知类别的对象，并且比现有的监督式方法具有更快的处理时间及更高的性能。

Jul, 2019

从单目深度图像进行目标检测和语义分割

本研究证明，在计算机视觉中，利用单目图像估计出深度信息与 RGB 图像结合能够显著提高目标检测和语义分割的精度。

Oct, 2016

利用背景圈定、深度对比和自顶向下特征学习 RGB-D 显著对象检测

提出了一种利用高层次、中层次和低层次特征的深度卷积神经网络结构以及适用于学习方法的新颖深度特征，并在 RGB-D 显著目标检测方面表现出比现有方法更好的效果，特别是在 RGBD1000 数据集上，其 F-Score 达到了 0.848，比第二名高出 10.7%。

May, 2017

RGB-D 目标检测与语义分割用于杂乱环境中的自主操作

通过利用深度融合技术和深度学习的物体检测和语义分割算法，我们成功地解决了在复杂场景中感知目标物体的问题，并在 Amazon Picking Challenge2016 和紧急响应场景数据集上进行了验证。

Oct, 2018

室内语义分割使用深度信息

采用多尺度卷积神经网络直接从图像和深度信息中学习特征实现室内场景的多类别分割，并在 NYU-v2 深度数据集上取得了 64.5% 的准确率，充分说明了适当的硬件（如 FPGA）可以实现实时处理。

Jan, 2013

基于 RBF 权重的 RGB-D 物体检测超插深卷积

通过使用深度传感器的增强现实设备，我们提出了一种实时的 RGB-D 物体检测模型，其中包括深度引导的超卷积和基于上采样的可训练融合层，提高了从原始深度图中提取深度和彩色图像特征的效率和性能，并在 NYU Depth v2 数据集上表现优于其他基于 RGB-D 的物体检测模型，在 SUN RGB-D 数据集上表现相当出色，并且在新的室外 RGB-D 物体检测数据集上也表现出色。同时，我们的模型在来自 CAD 模型和图像生成的多样化合成数据的性能评估中显示出了应用于增强现实的潜力。

Sep, 2023

基于本地 RGB-D Patch 的深度学习用于三维物体检测和六自由度位姿估计

采用卷积自编码器在大量随机局部补丁上训练回归描述符，将场景补丁描述符与合成模型视图补丁的数据库进行匹配，并投票生成 6D 对象，结果在三个数据集上表现良好，具有标准检测结果并超过其竞争对手的鲁棒性。

Jul, 2016

从 RGB-D 图像推断三维物体姿态

该研究旨在使用卷积神经网络检测和定位 RGB-D 场景中的物体，然后使用 3D 模型替换它们，相对于目前最先进的算法，该方法在 3D 检测任务中表现出 48％的相对改进，并且速度更快。

Feb, 2015

基于 RGB-D 数据的三维物体检测的台阶式点云网络

本文探讨了利用深度学习在 3D 物体检测中，针对使用 RGB-D 数据在室内和室外场景下进行点云识别所面临的挑战以及如何提高效率。通过利用成熟的 2D 物体检测器和先进的 3D 深度学习来提高区域建议与对象本地化的精度，以取得高回收甚至小目标检测的良好性能。在 KITTI 和 SUN RGB-D 3D 检测基准上进行了评估，相比现有技术取得了显著的大幅度升级，并具有实时性能。

Nov, 2017