Mar, 2018

3DMV：三维多视角联合预测在三维语义场景分割中的应用

PDF
TL;DR提出了一种名为 3DMV 的新型方法，使用联合 3D - 多视图预测网络对室内环境中 RGB-D 扫描进行三维语义场景分割。通过将 RGB 和几何特征相结合，并以一个可微的 backprojection 层将其映射到三维网格中，这种联合二维 - 三维架构实现了比现有基线方法显著更好的结果。
3d semantic scene segmentationrgb-d scansmulti-view prediction networkend-to-end networkmulti-view pooling
发现论文，激发创造
  • 虚拟多视角融合用于三维语义分割

    本文通过重新审视三维网格的经典多视图表示方法，研究了几种技术，使其可用于三维语义网格的语义分割。给定一个从 RGBD 传感器重建的三维网格，本文方法有效地选取不同的虚拟视图，并渲染多个二维通道，以训练出有效的二维语义分割模型；最终将多视讯预测的特征融合到三维网格顶点上，预测网格语义分割标签。

    Jul, 2020

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • 使用 RGB-D 相机的多视角深度学习实现一致的语义映射

    本文提出一种从多个 RGB-D 视图中进行对象类语义分割的新方法，使用深度学习训练神经网络进行预测，同时借助于 RGB-D 的 SLAM 获取摄像机轨迹，实现多视图一致性训练和测试。实验结果表明，与单视图基准线相比，深度特征池化和多视角融合可以在 NYUDv2 数据集上实现单视图语义分割和多视图语义融合的最新性能。

    Mar, 2017

  • 3DVNet: 多视角深度预测和体积细化

    3DVNet 是一种结合了先前基于深度和体积的 MVS 方法优点的新型多视图立体 (multi-view stereo) 深度预测方法，使用基于体积的三维卷积神经网络来对所有深度图进行操作，并能够学习有意义的场景级先验知识，其在深度预测和 3D 重建度量上均超越了现有技术，证明该方法在新的环境下具有很好的效果和通用性。

    Dec, 2021

  • 多视角 SAM 联合深度预测和语义分割

    基于多视角立体视觉和基于 Transformer 的语义分割解码器的多任务方法在深度预测和分割预测方面呈现出相互的优势。

    Oct, 2023

  • 3D-SIS: RGB-D 扫描的三维语义实例分割

    本文介绍了一种新型的神经网络体系结构：3D-SIS，用于在商品 RGB-D 扫描中进行三维语义实例分割。它结合了几何和颜色信号的联合学习，从而实现了精确的实例预测。该网络利用了高分辨率 RGB 输入和多视角 RGB-D 输入，并在 3D 重建的姿态对准的基础上将 2D 图像与体积网格相结合，实现了 2D 和 3D 特征学习组合，从而达到了超过 13 的 mAP 改进。

    Dec, 2018

  • 大规模三维语义分割中的野外多视角聚合学习

    本文提出了一种端到端可训练的多视角聚合模型，利用 3D 点的视角优势，从任意位置拍摄的图像中合并特征，将标准 2D 和 3D 网络相结合，不需要着色、上网格或真实深度图，我们在 S3DIS 和 KITTI-360 数据集上取得了新的最佳效果。

    Apr, 2022

  • MVD-Fusion: 单视角 3D 通过深度一致的多视角生成

    通过对多视角一致的 RGB-D 图像进行生成建模，我们提出了 MVD-Fusion：一种用于通过单视角推理 3D 的方法。

    Apr, 2024

  • STD2P: 利用时空数据驱动池化进行 RGBD 语义分割

    提出了一种新颖的基于超像素的多视角卷积神经网络，通过利用同一场景的其他视角信息生成单个图像的高质量分割，并且利用光流和基于图像边界的超像素计算区域对应关系，提出了一种新颖的时空池化层对空间和时间信息进行聚合，实现对图像的分割。经过对 NYU-Depth-V2 数据集和 SUN3D 数据集的评估，与各种单视图和多视图方法相比，不仅有严格的改进，同时也表明在多视图和单视图预测时利用标记帧的好处。

    Apr, 2016

  • DeLS-3D: 3D 语义地图的深度定位与分割

    该研究提出了一种基于深度学习的统一框架，通过将相机视频、运动传感器（GPS/IMU）和三维语义地图进行传感器融合，以实现自主驾驶、自我定位和场景分类等多个应用领域中场景解析和相机姿态同时处理的目的。研究使用的技术包括渲染技术，使用相机姿态和三维语义地图生成标注地图，并在深度神经网络中进行联合训练，以提高姿态估计精度。该研究表明，相较于单一传感器，传感器融合对于目标跟踪及姿态估计具有更高的鲁棒性和准确性。

    May, 2018