Jan, 2024

S3Net：用于卫星极线影像的单分支语义立体网络的立体匹配和语义分割创新

PDF
TL;DR提出了一种名为 Single-branch Semantic Stereo Network（S3Net）的解决方案，通过自我融合和互相融合模块创新性地将语义分割和立体匹配相结合，从而更准确地理解语义信息和视差估计。在 US3D 数据集上的比较测试证实了 S3Net 的有效性，相比现有竞争方法，我们的模型将语义分割的平均交并比（mIoU）从 61.38 提升至 67.39，将立体匹配的 D1 误差和平均端点误差（EPE）从 10.051 降低至 9.579 和从 1.439 降低至 1.403。
发现论文，激发创造
  • S$^3$M-Net: 自主驾驶中语义分割与立体匹配的联合学习

    本文介绍了一种新的联合学习框架 S^3M-Net，用于同时进行语义分割和立体匹配，通过特征共享和融合来提高整体场景理解能力，通过最小化语义一致性引导损失来训练整个联合学习框架，在 vKITTI2 和 KITTI 数据集上进行实验，证明了该框架的有效性和超越其他单任务网络的性能。

    Jan, 2024

  • 实时语义立体匹配

    研究表明，语义立体匹配比独立任务能更好地了解机器人、自我导航、增强现实等领域的场景理解。本文提出了一种单一的紧凑型和轻量级架构，通过多阶段的自上而下的估算，使得在任何硬件上和任何应用中都可以获得非常快速的推理，并对特定的应用要求进行准确度和速度的权衡。

    Oct, 2019

  • 偶然卫星图像的语义立体视觉

    通过语义场景分割来提供强大的正则化先验以解决立体对应和重建问题的不确定性，利用无意卫星图像进行成对语义立体和多视角语义三维重建的研究已经成为可能。

    Nov, 2018

  • JSENet: 用于 3D 点云的联合语义分割和边缘检测网络

    本研究通过设计一个新的两流全卷积网络，提出了一个联合学习方法来同时处理 3D 语义分割和 3D 语义边缘检测问题，特别是设计了一个联合调优模块来明确地连接区域信息和边缘信息，通过提出的新型损失函数，实现了更好的语义分割结果的同时改善边缘信息，结果显示该方法在 S3DIS 和 ScanNet 数据集上获得了与最先进方法相当或更好的性能，优于语义边缘检测的基准方法。

    Jul, 2020

  • 基于图的全景稀疏语义分割网络 GP-S3Net

    本文提出了一种高效的基于 LiDAR 的全景分割框架 GP-S3Net，通过构建图卷积网络以识别物体并将其与背景类融合，利用实例标签为构造的每个图生成地面真实边缘标签来监督学习，在 nuScenes 和 SemanticPOSS 等数据集上实验表明 GP-S3Net 优于现有最先进的方法，在公共 SemanticKITTI 排行榜上排名第一。

    Aug, 2021

  • DispSegNet: 借助语义实现从立体影像端到端的视差估计学习

    本文提出了一种用于改善深度估计的 CNN 体系结构，该体系结合语义分割任务。所提出的模型是使用无监督方法进行训练的，并采用双目摄像系统的图像对。实验表明，使用语义分割的嵌入可以提高深度估计的性能

    Sep, 2018

  • 一种基于语义分割的地空图像匹配方法

    该论文提出了一种基于语义分析的方法，通过比较地面图像与卫星图像的特征，结合语义分割掩模，实现无 GPS 数据的查询地理定位，并在不同视场上通过对 CVUSA 数据集进行测试表明该方法提升了性能。

    Apr, 2024

  • (AF) 2-S3Net: 基于自适应特征选择的注意力特征融合稀疏语义分割网络

    本文介绍了一种基于 AF2-S3Net 的端到端编解码 CNN 网络，用于 3D LiDAR 语义分割，并在大规模 SemanticKITTI 基准测试上展示了其优越性能。

    Feb, 2021

  • SOSD-Net: 单目图像联合语义物体分割和深度估计

    通过引入语义物体性概念分析成像过程，本文提出了一种基于物体性假设的语义物体分割和深度估计网络（SOSD-Net），并采用期望最大化算法的迭代思想更有效地训练该网络，实验结果表明该方法具有卓越的性能。

    Jan, 2021

  • $S^3$Net：基于语义感知的自监督单目视频和合成数据深度估计

    本文介紹了一種自監督學習的深度估計方法，在使用合成數據和真實數據訓練的同時，利用幾何、時間和語義約束，實現了單目視頻深度估計的新的最先進技術，相較其他自監督和合成方法提高了 15% 到 10% 不等。

    Jul, 2020