ECCVAug, 2016

使用反卷积网络学习 RGB-D 语义分割的公共和特定特征

PDF
TL;DR本文在室内图像的 RGB-D 语义分割问题中，通过利用可以预测像素级类别标签的反卷积网络，开发了一种反卷积多模态新结构并提出了一种新的特征转换网络。该特征转换网络通过在两个模态之间发现共同特征并表征每种特性的方式将两种模态相关联。新网络在 NYU 深度数据集 V1 和 V2 上取得了有竞争力的分割精度。
发现论文，激发创造
  • 室内语义分割使用深度信息

    采用多尺度卷积神经网络直接从图像和深度信息中学习特征实现室内场景的多类别分割，并在 NYU-v2 深度数据集上取得了 64.5% 的准确率，充分说明了适当的硬件（如 FPGA）可以实现实时处理。

    Jan, 2013

  • 语义分割的学习反卷积网络

    本文提出一种基于学习反卷积网络的新颖语义分割算法，其中反卷积网络由反卷积层和上采样层组成，能够在像素级别上识别图像中的类别标签和预测分割掩模，通过将结果合并得到最终的分割图像，并且可以自然地处理多尺度下的物体和识别细节结构，在 PASCAL VOC 2012 数据集上进行实验，通过与完全卷积网络的集合学习，取得了最好的 72.5% 精度。

    May, 2015

  • 全局反卷积网络用于语义分割

    本文提出了一种新型架构，用于全局地等效进行反卷积操作并获取密集预测进而解决卷积神经网络在语义图像分割任务中的两个独特挑战，即低分辨率输出与局部特征提取中的全局信息不足。实验结果表明，在 PASCAL VOC 2012 基准测试中，本文方法取得了 74.0% 的平均 IU 准确率，优于当前最先进的语义分割模型。

    Feb, 2016

  • 使用深度卷积网络进行联合语义分割和深度估计

    本研究采用多尺度卷积神经网络，提出一种单一 RGB 图像用于深度估计和语义分割的深度学习模型，该模型采用单一损失函数进行训练，同时使用完全连接的 CRF 捕捉语义和深度线索之间的上下文关系和交互作用，实现更精确的结果。在 NYUDepth V2 数据集上进行实验，该模型在语义分割方面表现优于最先进方法，在深度估计任务上实现可比较的结果。

    Apr, 2016

  • 基于多模态注意力融合的 RGB - 深度图像语义分割模型

    本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

    Dec, 2019

  • 基于深度 CNN 的 RGB-D 场景识别：从零开始学习优于从 RGB-CNN 转移

    本研究利用卷积神经网络和弱监督方法，提出了一种能够在有限深度图像条件下学习具有较强区分性的深度特征，从而实现了 RGB-D 场景识别的最新成果，达到了最好的表现。

    Jan, 2018

  • 使用多邻域图卷积的 2D-3D 几何融合网络用于 RGB-D 室内场景分类

    提出了一种 2D-3D 融合策略，将 3D 几何特征和 2D 纹理特征相结合，实现场景分类任务中的多模态融合，并通过多领域图卷积和最近体素池化等策略提高性能。实验结果表明，该方法在 RGB-D 室内场景分类任务中优于当前的技术水平。

    Sep, 2020

  • 学习有效的 RGB-D 场景识别表示

    该研究介绍一种基于深度学习的 RGB-D 场景识别方法，提出了一种深度学习模型训练的两步骤方法和一种新的 RGB-D 视频数据集，实现了在 RGB-D 图像 (NYUD2 和 SUN RGB-D) 和视频 (ISIA RGB-D) 场景识别方面的最优表现。

    Sep, 2018

  • RGB-D 行动识别的深度聚合网络协同训练

    提出了一种利用多种异构源中的联合信息的新型深度神经网络训练范式。具体来说，在基于 RGB-D 的动作识别任务中，它会在 RGB 视觉特征和深度特征上合作训练单个卷积神经网络（命名为 c-ConvNet），并深度聚合这两种特征进行动作认证。

    Dec, 2017

  • 使用 RGB-D 相机的多视角深度学习实现一致的语义映射

    本文提出一种从多个 RGB-D 视图中进行对象类语义分割的新方法，使用深度学习训练神经网络进行预测，同时借助于 RGB-D 的 SLAM 获取摄像机轨迹，实现多视图一致性训练和测试。实验结果表明，与单视图基准线相比，深度特征池化和多视角融合可以在 NYUDv2 数据集上实现单视图语义分割和多视图语义融合的最新性能。

    Mar, 2017