Sep, 2020

使用多邻域图卷积的 2D-3D 几何融合网络用于 RGB-D 室内场景分类

PDF
TL;DR提出了一种 2D-3D 融合策略，将 3D 几何特征和 2D 纹理特征相结合，实现场景分类任务中的多模态融合，并通过多领域图卷积和最近体素池化等策略提高性能。实验结果表明，该方法在 RGB-D 室内场景分类任务中优于当前的技术水平。
发现论文，激发创造
  • 基于多模态注意力融合的 RGB - 深度图像语义分割模型

    本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

    Dec, 2019

  • 当 CNN 遇到随机 RNN: 多层次 RGB-D 物体和场景识别分析

    本文提出了一个使用 RGB-D 图像进行对象和场景识别的新方法，使用深度神经网络取代手工特征提取器，并利用卷积神经网络提取的视觉特征和递归神经网络高效转换为高级别特征，通过软投票方法进行多模态融合来实现一致的分类结果，实验结果表明该方法在对象和场景识别任务中均取得了卓越或同等水平的性能。

    Apr, 2020

  • 3DMV：三维多视角联合预测在三维语义场景分割中的应用

    提出了一种名为 3DMV 的新型方法，使用联合 3D - 多视图预测网络对室内环境中 RGB-D 扫描进行三维语义场景分割。通过将 RGB 和几何特征相结合，并以一个可微的 backprojection 层将其映射到三维网格中，这种联合二维 - 三维架构实现了比现有基线方法显著更好的结果。

    Mar, 2018

  • 卷积网络的单张图像多视角 3D 模型

    本文提出了一种卷积网络，可以仅仅基于单张图像预测出物体的 RGB 图和深度图，并将多幅深度图融合成完整点云后可转换成表面网格来对任意视野下的三维物体进行识别。网络通过合成的三维车和椅子模型进行训练，在有杂乱背景并搭配真实车辆图像的情况下，仍可生成合理的推测。

    Nov, 2015

  • 基于一致投票和三维卷积的多模态融合技术用于孤立手势识别

    本文提出了一种基于 RGB 和深度视频序列的空间与时间信息互补建模方法，采用卷积二流一致投票网络（2SCVN）和 3D 深度显著性 ConvNet 流（3DDSN）的并行聚合结构，极大提高了细微运动特征的识别准确性，结果在 Chalearn IsoGD 基准测试中优于领先者 10.29％，在 RGBD-HuDaAct 数据集上取得了最佳效果（96.74％），同时进行了定量实验和定性分析。

    Nov, 2016

  • 使用反卷积网络学习 RGB-D 语义分割的公共和特定特征

    本文在室内图像的 RGB-D 语义分割问题中，通过利用可以预测像素级类别标签的反卷积网络，开发了一种反卷积多模态新结构并提出了一种新的特征转换网络。该特征转换网络通过在两个模态之间发现共同特征并表征每种特性的方式将两种模态相关联。新网络在 NYU 深度数据集 V1 和 V2 上取得了有竞争力的分割精度。

    Aug, 2016

  • 面向融合的点卷积在在线语义 3D 场景分割中的应用

    该研究提出了一种基于动态数据结构的卷积方法，通过全局 - 本地树结构维护局部领域信息，以及增量坐标区间树实现快速点云插入和邻域查询，从而解决在线语义三维分割与 RGB-D 重建中的挑战，实现跨帧时间上的信息融合。

    Mar, 2020

  • 室内语义分割使用深度信息

    采用多尺度卷积神经网络直接从图像和深度信息中学习特征实现室内场景的多类别分割，并在 NYU-v2 深度数据集上取得了 64.5% 的准确率，充分说明了适当的硬件（如 FPGA）可以实现实时处理。

    Jan, 2013

  • 基于三维卷积神经网络的 RGB-D 显著性目标检测

    该研究提出了一种名为 RD3D 的深度学习模型，其采用前编码器阶段的预聚合和后解码器阶段的深层特征融合来促进 RGB 和深度流的充分融合，并在 RGB-D 显着目标检测模型方面表现优于 14 种先进模型。

    Jan, 2021

  • 虚拟多视角融合用于三维语义分割

    本文通过重新审视三维网格的经典多视图表示方法，研究了几种技术，使其可用于三维语义网格的语义分割。给定一个从 RGBD 传感器重建的三维网格，本文方法有效地选取不同的虚拟视图，并渲染多个二维通道，以训练出有效的二维语义分割模型；最终将多视讯预测的特征融合到三维网格顶点上，预测网格语义分割标签。

    Jul, 2020