Jan, 2024

S$^3$M-Net: 自主驾驶中语义分割与立体匹配的联合学习

PDF
TL;DR本文介绍了一种新的联合学习框架 S^3M-Net，用于同时进行语义分割和立体匹配，通过特征共享和融合来提高整体场景理解能力，通过最小化语义一致性引导损失来训练整个联合学习框架，在 vKITTI2 和 KITTI 数据集上进行实验，证明了该框架的有效性和超越其他单任务网络的性能。
semantic segmentationstereo matchingjoint learning frameworkfeature fusion adaptionsemantic consistency-guided loss
发现论文，激发创造
  • S3Net：用于卫星极线影像的单分支语义立体网络的立体匹配和语义分割创新

    提出了一种名为 Single-branch Semantic Stereo Network（S3Net）的解决方案，通过自我融合和互相融合模块创新性地将语义分割和立体匹配相结合，从而更准确地理解语义信息和视差估计。在 US3D 数据集上的比较测试证实了 S3Net 的有效性，相比现有竞争方法，我们的模型将语义分割的平均交并比（mIoU）从 61.38 提升至 67.39，将立体匹配的 D1 误差和平均端点误差（EPE）从 10.051 降低至 9.579 和从 1.439 降低至 1.403。

    Jan, 2024

  • 实时语义立体匹配

    研究表明，语义立体匹配比独立任务能更好地了解机器人、自我导航、增强现实等领域的场景理解。本文提出了一种单一的紧凑型和轻量级架构，通过多阶段的自上而下的估算，使得在任何硬件上和任何应用中都可以获得非常快速的推理，并对特定的应用要求进行准确度和速度的权衡。

    Oct, 2019

  • MultiNet: 自主驾驶实时联合语义推理

    本文提出了一种联合分类、检测和语义分割的方法，其中编码器在三个任务之间共享。该方法非常简单，可以端到端训练，在具有挑战性的 KITTI 数据集中表现良好，在道路分割任务中优于现有技术。而且，我们的方法非常高效，执行所有任务只需要不到 100 毫秒。

    Dec, 2016

  • (AF) 2-S3Net: 基于自适应特征选择的注意力特征融合稀疏语义分割网络

    本文介绍了一种基于 AF2-S3Net 的端到端编解码 CNN 网络，用于 3D LiDAR 语义分割，并在大规模 SemanticKITTI 基准测试上展示了其优越性能。

    Feb, 2021

  • SM$^3$: 基于多视角二维图像的自监督多任务建模 对关节物体

    在机器人领域中，重建现实世界物体并估计其可移动关节结构是核心技术。我们提出了一种自我监督的交互感知方法 SM$^3$，通过利用交互前后捕捉的多视角 RGB 图像，来建模关节物体、识别可移动组件和推断旋转关节参数。通过从捕捉到的 2D 图像中构建 3D 几何和纹理，SM$^3$ 在重建过程中实现可移动组件和关节参数的综合优化，无需注释。此外，我们还引入了 MMArt 数据集，它是 PartNet-Mobility 的扩展，包含多视角和多模态的涵盖多种类别的关节物体数据。评估结果显示，在各个类别和物体上，SM$^3$ 优于现有的基准，并且其在现实场景中的适应性已经得到了充分验证。

    Jan, 2024

  • 自动驾驶多模态三维语义分割 MSeg3D

    利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

    Mar, 2023

  • JSENet: 用于 3D 点云的联合语义分割和边缘检测网络

    本研究通过设计一个新的两流全卷积网络，提出了一个联合学习方法来同时处理 3D 语义分割和 3D 语义边缘检测问题，特别是设计了一个联合调优模块来明确地连接区域信息和边缘信息，通过提出的新型损失函数，实现了更好的语义分割结果的同时改善边缘信息，结果显示该方法在 S3DIS 和 ScanNet 数据集上获得了与最先进方法相当或更好的性能，优于语义边缘检测的基准方法。

    Jul, 2020

  • 3DMV：三维多视角联合预测在三维语义场景分割中的应用

    提出了一种名为 3DMV 的新型方法，使用联合 3D - 多视图预测网络对室内环境中 RGB-D 扫描进行三维语义场景分割。通过将 RGB 和几何特征相结合，并以一个可微的 backprojection 层将其映射到三维网格中，这种联合二维 - 三维架构实现了比现有基线方法显著更好的结果。

    Mar, 2018

  • 利用 2D 和 3D 网络的补充性来解决 3D 语义分割中的领域偏移

    本文提出一种简单有效的多模态 3D 语义分割网络，利用来自不同传感器的信息进行语义分割并使其更加鲁棒，达到了优异的性能。

    Apr, 2023

  • 基于注意力机制的多模态融合网络用于场景语义补全

    本文提出了一种名为 AMFNet 的端到端三维卷积网络，用于从单视图 RGB-D 图像推断出体积三维场景的占用和语义标签。该网络通过融合 2D 语义分割和 3D 语义完成网络的经验以及空间维度的可靠深度线索，学习同时执行有效的 3D 场景完成和语义分割，验证表明在合成 SUNCG-RGBD 数据集和真实 NYUv2 数据集上都取得了明显的优越性。

    Mar, 2020