Apr, 2020

基于空间信息引导的卷积神经网络实现实时 RGBD 语义分割

PDF
TL;DR提出 Spatial information guided Convolution（简称 S-Conv）算法，将 RGB 特征与 3D 空间信息高效地集成，不会严重影响实时应用，可用于语义分割任务，实现出色的性能，并在 NYUDv2 和 SUNRGBD 数据集上获得最先进的性能。
3d spatial informationsemantic segmentationspatial information guided convolutionreal-time applicationsgeometric transformations
发现论文，激发创造
  • 面向高效 RGB-D 语义分割的空间信息引导自适应上下文感知网络

    提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块，用于在移动机器人中进行 RGB-D 语义分割，通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征，实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。

    Aug, 2023

  • 带有空间组卷积的高效语义场景补全网络

    通过空间分组卷积（SGC）来加速 3D 密集预测任务的计算。SGC 是一种与组卷积正交的方法，它作用于空间维度而不是特征通道维度。它将输入体素划分为不同的组，然后在这些分离的组上进行 3D 稀疏卷积。在进行卷积时，只有有效的体素被考虑到，因此可以大大减少计算量并略微降低精度。我们将所提出的操作用于语义场景完成任务，该任务旨在从单个深度图像中预测具有语义标签的完整 3D 体积。基于 SGC，我们进一步提出了一种高效的 3D 稀疏卷积网络，它利用了多尺度架构和粗到精的预测策略。在 SUNCG 数据集上进行了评估，并实现了最先进的性能和快速速度。我们的代码可在 https URL 上获得。

    Jul, 2019

  • SurfConv: 为 RGBD 图像建立 3D 和 2D 卷积之桥

    本文提出使用 SurfConv 作为一种新型的深度学习算法，可以有效地解决在 3D 图像中使用卷积神经网络在尺度上变化和浪费空间等问题，通过新的数据驱动深度离散化方案（D4），在室内和室外 3D 语义分割数据集上获得了超越 3D 卷积方法并使用不到 30％的参数的最先进性能。

    Dec, 2018

  • ShapeConv: 针对室内 RGB-D 语义分割的形状感知卷积层

    本文提出了一种新的深度学习卷积方法 ShapeConv，用于处理三维点云数据的语义分割问题，该方法将深度特征分解成形状和基础两个部分进行卷积操作，不仅有效提高了分类的准确性，而且不会增加计算和存储成本。

    Aug, 2021

  • 面向融合的点卷积在在线语义 3D 场景分割中的应用

    该研究提出了一种基于动态数据结构的卷积方法，通过全局 - 本地树结构维护局部领域信息，以及增量坐标区间树实现快速点云插入和邻域查询，从而解决在线语义三维分割与 RGB-D 重建中的挑战，实现跨帧时间上的信息融合。

    Mar, 2020

  • 基于深度感知的 RGB-D 分割卷积神经网络

    本文提出一种 Depth-aware CNN 方法，通过引入深度感知卷积和深度感知平均池化两种直观、灵活、有效的操作，将几何信息无缝地融入 CNN 中，从而解决了 CNN 在处理几何信息上的限制问题，并且在具有挑战性的 RGB-D 语义分割基准测试上进行的广泛实验和消融研究证实了该方法的有效性和灵活性。

    Mar, 2018

  • STD2P: 利用时空数据驱动池化进行 RGBD 语义分割

    提出了一种新颖的基于超像素的多视角卷积神经网络，通过利用同一场景的其他视角信息生成单个图像的高质量分割，并且利用光流和基于图像边界的超像素计算区域对应关系，提出了一种新颖的时空池化层对空间和时间信息进行聚合，实现对图像的分割。经过对 NYU-Depth-V2 数据集和 SUN3D 数据集的评估，与各种单视图和多视图方法相比，不仅有严格的改进，同时也表明在多视图和单视图预测时利用标记帧的好处。

    Apr, 2016

  • 使用三维卷积神经网络学习时空特征

    通过在大规模监督视频数据集上使用训练的深度三维卷积神经网络（3D ConvNets）提出了一种简单而有效的时空特征学习方法。我们的成果有三个：1）相对于 2D ConvNets，3D ConvNets 更适用于时空特征学习；2）所有层中具有小的 3x3x3 卷积核的同构体系结构是 3D ConvNets 中表现最佳的体系结构之一；3）我们学到的特征 —— 即 C3D（卷积 3D）—— 连同一个简单的线性分类器，在 4 个不同的基准测试中优于最先进的方法，并与其他 2 个基准测试中的最佳方法相当。此外，这些特征紧凑：只需 10 维便能在 UCF101 数据集上达到 52.8％的准确率，由于 ConvNets 的快速推理，计算效率也非常高。最后，它们在概念上非常简单易用且易于训练和使用。

    Dec, 2014

  • SqueezeSegV3: 面向点云分割的自适应空间卷积

    本文针对 LiDAR 点云分割中前处理存在的问题，提出了新的卷积方法 Spatially-Adaptive Convolution，并通过 SqueezeSegV3 核 SemanticKITTI 数据集的实验表明，相较于之前提出的算法在语义分割的性能上有了更好的提升。

    Apr, 2020

  • GSVNet: 基于引导变空间卷积的快速视频语义分割

    该论文提出了一种简单而有效的传播框架，包括轻量级流估计和引导式空间变化卷积方法，实现了视频分割的最优准确度和吞吐量的平衡。

    Mar, 2021