ECCVJul, 2019

带有空间组卷积的高效语义场景补全网络

PDF
TL;DR通过空间分组卷积（SGC）来加速 3D 密集预测任务的计算。SGC 是一种与组卷积正交的方法，它作用于空间维度而不是特征通道维度。它将输入体素划分为不同的组，然后在这些分离的组上进行 3D 稀疏卷积。在进行卷积时，只有有效的体素被考虑到，因此可以大大减少计算量并略微降低精度。我们将所提出的操作用于语义场景完成任务，该任务旨在从单个深度图像中预测具有语义标签的完整 3D 体积。基于 SGC，我们进一步提出了一种高效的 3D 稀疏卷积网络，它利用了多尺度架构和粗到精的预测策略。在 SUNCG 数据集上进行了评估，并实现了最先进的性能和快速速度。我们的代码可在 https URL 上获得。
发现论文，激发创造
  • 基于摄像头的稀疏引导网络的三维语义场景补全

    使用密集 - 稀疏 - 密集的设计，采用几何先验和占据信息，从语义感知和占据感知种子体素中扩散语义，实现基于相机的语义场景完成 (SSC) 框架。在 SemanticKITTI 数据集上的实验结果表明，该方法优于现有的最先进方法。

    Dec, 2023

  • 用于 3D 语义场景完整性的各向异性卷积神经网络

    提出了一种名为各向异性卷积的新模块，用于解决语义场景补全任务中物体或材料形状、布局和可见性变化的挑战，该模块能够在体素上进行维度各向异性的建模，通过在多个各向异性卷积模块中堆叠，进一步增强了体素模型的建模能力，在两个语义场景补全基准测试上表现优越。

    Apr, 2020

  • CAGroup3D：面向分类感知的点云三维目标检测中的分组算法

    提出了一种名为 CAGroup3D 的卷积神经网络二阶段稀疏三维物体检测框架，通过结合物体表面体素中相同语义预测的类别感知局部组策略生成高质量的三维建议，以及使用稀疏卷积 RoI 池化模块从骨干网中直接聚合细粒度的空间信息以进一步提升建议的效果。该方法具有更好的计算和内存效率，并且在 ScanNet V2 和 SUN RGB-D 数据集上实现了优于现有方法的三维检测性能。

    Oct, 2022

  • 来自单个深度图像的语义场景补全

    本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务，提出了一种端到端三维卷积神经网络 SSCNet，该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明，该联合模型比各自解决每个任务的方法表现更好，并且在语义场景完成任务上优于替代方法。

    Nov, 2016

  • 基于空间信息引导的卷积神经网络实现实时 RGBD 语义分割

    提出 Spatial information guided Convolution（简称 S-Conv）算法，将 RGB 特征与 3D 空间信息高效地集成，不会严重影响实时应用，可用于语义分割任务，实现出色的性能，并在 NYUDv2 和 SUNRGBD 数据集上获得最先进的性能。

    Apr, 2020

  • 空间分组增强：改进卷积神经网络中的语义特征学习

    本文提出了一种基于空间组别增强（SGE）的卷积神经网络模块，通过生成每个语义组中每个空间位置的注意力系数来调整每个子特征的重要性，可以在仅接受类别监督训练的情况下显著提高图像识别任务的性能。

    May, 2019

  • 基于可学习的三维分组卷积的空间光谱高光谱分类

    本文提出了一种基于改进的 3D-DenseNet 模型和轻量级模型设计的可学习组卷积网络 (LGCNet)，用于加速在具有严格延迟要求和受限计算能力的边缘设备上模型的部署，该网络通过引入针对输入通道和卷积核分组的动态学习方法改善了组卷积的不足，从而实现灵活的分组结构和更好的表示能力。此外，LGCNet 在印度藤条，帕维亚大学和 KSC 数据集上取得了速度和精度方面的进展，优于主流的高光谱图像分类方法。

    Jul, 2023

  • 基于动态分组卷积的高光谱遥感图像分类的高效三维 DenseNet (DGCNet)

    该研究设计并提出了一种基于动态分组卷积的轻量级模型，并应用于高光谱图像分类计算任务，取得了较高的速度和准确度，较传统方法优越。

    Jul, 2023

  • 使用子流形稀疏卷积网络进行 3D 语义分割

    本研究提出了一种新的稀疏卷积操作，旨在更高效地处理空间稀疏数据，并使用其开发出空间稀疏卷积网络 (SSCNs)。我们在涉及三维点云的语义分割任务中展示了这种模型的强大性能，特别是我们的模型在最近一个语义分割竞赛的测试集上超越了所有以前的最新技术。

    Nov, 2017

  • 基于半监督结构先验的 3D 草图感知语义场景补全

    本文提出了一种基于几何学的策略来将深度信息与低分辨率体素表示相结合，通过 3D 素描感知特征嵌入编码几何信息并采用半监督先验学习策略来引导占用推理和语义标签的推断，该方案在三个公共基准测试中一致优于现有技术。

    Mar, 2020