ICCVAug, 2021

ShapeConv: 针对室内 RGB-D 语义分割的形状感知卷积层

PDF
TL;DR本文提出了一种新的深度学习卷积方法 ShapeConv，用于处理三维点云数据的语义分割问题，该方法将深度特征分解成形状和基础两个部分进行卷积操作，不仅有效提高了分类的准确性，而且不会增加计算和存储成本。
rgb-dsemantic segmentationshapeconvdepth featureconvolutional layer
发现论文，激发创造
  • SurfConv: 为 RGBD 图像建立 3D 和 2D 卷积之桥

    本文提出使用 SurfConv 作为一种新型的深度学习算法，可以有效地解决在 3D 图像中使用卷积神经网络在尺度上变化和浪费空间等问题，通过新的数据驱动深度离散化方案（D4），在室内和室外 3D 语义分割数据集上获得了超越 3D 卷积方法并使用不到 30％的参数的最先进性能。

    Dec, 2018

  • 基于深度感知的 RGB-D 分割卷积神经网络

    本文提出一种 Depth-aware CNN 方法，通过引入深度感知卷积和深度感知平均池化两种直观、灵活、有效的操作，将几何信息无缝地融入 CNN 中，从而解决了 CNN 在处理几何信息上的限制问题，并且在具有挑战性的 RGB-D 语义分割基准测试上进行的广泛实验和消融研究证实了该方法的有效性和灵活性。

    Mar, 2018

  • 基于空间信息引导的卷积神经网络实现实时 RGBD 语义分割

    提出 Spatial information guided Convolution（简称 S-Conv）算法，将 RGB 特征与 3D 空间信息高效地集成，不会严重影响实时应用，可用于语义分割任务，实现出色的性能，并在 NYUDv2 和 SUNRGBD 数据集上获得最先进的性能。

    Apr, 2020

  • 使用反卷积网络学习 RGB-D 语义分割的公共和特定特征

    本文在室内图像的 RGB-D 语义分割问题中，通过利用可以预测像素级类别标签的反卷积网络，开发了一种反卷积多模态新结构并提出了一种新的特征转换网络。该特征转换网络通过在两个模态之间发现共同特征并表征每种特性的方式将两种模态相关联。新网络在 NYU 深度数据集 V1 和 V2 上取得了有竞争力的分割精度。

    Aug, 2016

  • 面向形状的点云分析卷积神经网络

    本文提出了一种形状取向的消息传递方案 ShapeConv，结合了形状特征学习和上下文信息对基于点云的分析的贡献，并将其堆叠到分层学习体系结构 SOCNN 中以分析点云的分类和分割任务。

    Apr, 2020

  • 室内语义分割使用深度信息

    采用多尺度卷积神经网络直接从图像和深度信息中学习特征实现室内场景的多类别分割，并在 NYU-v2 深度数据集上取得了 64.5% 的准确率，充分说明了适当的硬件（如 FPGA）可以实现实时处理。

    Jan, 2013

  • RGB-D 行动识别的深度聚合网络协同训练

    提出了一种利用多种异构源中的联合信息的新型深度神经网络训练范式。具体来说，在基于 RGB-D 的动作识别任务中，它会在 RGB 视觉特征和深度特征上合作训练单个卷积神经网络（命名为 c-ConvNet），并深度聚合这两种特征进行动作认证。

    Dec, 2017

  • 基于 RBF 权重的 RGB-D 物体检测超插深卷积

    通过使用深度传感器的增强现实设备，我们提出了一种实时的 RGB-D 物体检测模型，其中包括深度引导的超卷积和基于上采样的可训练融合层，提高了从原始深度图中提取深度和彩色图像特征的效率和性能，并在 NYU Depth v2 数据集上表现优于其他基于 RGB-D 的物体检测模型，在 SUN RGB-D 数据集上表现相当出色，并且在新的室外 RGB-D 物体检测数据集上也表现出色。同时，我们的模型在来自 CAD 模型和图像生成的多样化合成数据的性能评估中显示出了应用于增强现实的潜力。

    Sep, 2023

  • 基于投影卷积神经网络的 3D 形状分割

    该论文提出了一种用于将 3D 物体分割成标记语义部件的深度架构。该架构结合了基于图像的完全卷积网络和基于表面的条件随机场，以产生 3D 形状的连贯分割。通过特殊的投影层，图像 FCN 输出 被有效聚合在多个视图和比例上，然后投影到 3D 物体表面上。最后，基于表面的 CRF 将投影输出与几何一致性线索结合起来，以产生连贯的分割。整个架构（多视图 FCN 和 CRF）可以端对端地训练。该方法在当前最大的分割基准（ShapeNet）中明显优于现有的最先进方法。最后，我们展示了从消费级深度相机获取的嘈杂 3D 形状有着可喜的分割结果。

    Dec, 2016

  • 使用深度卷积网络进行联合语义分割和深度估计

    本研究采用多尺度卷积神经网络，提出一种单一 RGB 图像用于深度估计和语义分割的深度学习模型，该模型采用单一损失函数进行训练，同时使用完全连接的 CRF 捕捉语义和深度线索之间的上下文关系和交互作用，实现更精确的结果。在 NYUDepth V2 数据集上进行实验，该模型在语义分割方面表现优于最先进方法，在深度估计任务上实现可比较的结果。

    Apr, 2016