AAAIApr, 2021

通过有效的协同分割和数据增强实现自监督的多视图立体匹配

PDF
TL;DR针对现有自监督方法在多视图重建中可能出现的相关点之间颜色不同的问题，本文提出了一种基于语义共分割和数据增强的更可靠监督的框架，其中利用多视图图像中的相互语义来指导语义一致性，同时设计了有效的数据增强机制，以确保对样本的变换鲁棒性。在 DTU 数据集上的实验结果表明，我们提出的方法在无监督方法中取得了最先进的性能，并且甚至可以与有监督方法一较高下。此外，在 Tanks＆Temples 数据集上的广泛实验证明了该方法的有效泛化能力。
self-supervised methodsview synthesissemantic co-segmentationdata-augmentationmulti-view stereo
发现论文，激发创造
  • 半监督深度多视图立体

    本文提出了一种基于半监督学习的多视角立体视觉 (SE-MVS) 框架，其中一些 MVS 数据仅带有稠密深度地面实况。通过一致性正则化和样式一致性损失来提高深度估计的精度和完整性，实验结果表明该方法优于全监督和无监督方法。

    Jul, 2022

  • 自监督多视角立体匹配中的不确定性探究

    提出了一种新的 UMVS 框架，通过估计自监督 MVS 中的认知不确定性来处理前景中的不确定监督和背景中的无效监督信号，并在 DTU 和 Tank＆Temples 基准测试中获得了最佳性能。

    Aug, 2021

  • 通过强健的光度一致性学习无监督的多视图立体成像

    提出了一种基于学习的多视点立体感知方法，可以在宽基线 MVS 环境下学习深度预测并通过稳健的损失函数处理遮挡和光照等问题。该方法不需要使用三维监督数据进行训练，并且可以通过无监督的微调实现对新数据集的适应。

    May, 2019

  • MVS^2: 多视图对称深度无监督多视图立体成像

    本文介绍了一种基于无监督学习的多视图深度图像学习方法，可以从多个视角的输入图像中学习深度和遮挡图像，并在训练和测试阶段都强制实施多视图深度一致性，进而为实际场景下处理遮挡提供更好的鲁棒性。

    Aug, 2019

  • 基于深度合成的无监督多视角立体匹配网络 DS-MVSNet

    本文提出 DS-MVSNet，一种端到端的无监督多视点结构，并通过 Adaptive Gaussian Sampling 和 Improved Adaptive Bins Sampling 等方法来提高深度假设的准确性。同时，我们利用源深度来渲染参考图像，并提出了深度一致性损失和深度平滑性损失来提供额外的指导。最后，通过在 DTU 数据集和 Tanks＆Temples 数据集上的一系列实验证明了我们的方法相对于现有方法的效率和稳健性。

    Aug, 2022

  • ES-MVSNet: 高效的端到端自监督多视角立体视觉框架

    提出了一种新颖的 ES-MVSNet 框架，通过采用高效的内存架构、非对称视角选择策略和区域感知深度一致性设计，在不依赖第三方模型的情况下，在 E2E 自监督 MVS 方法中取得了最先进的性能。

    Aug, 2023

  • 多视角 SAM 联合深度预测和语义分割

    基于多视角立体视觉和基于 Transformer 的语义分割解码器的多任务方法在深度预测和分割预测方面呈现出相互的优势。

    Oct, 2023

  • M^3VSNet: 无监督多指标多视角立体网络

    本文提出了一种名为 M^3VSNet 的新型无监督多指标 MVS 网络，用于稠密点云重建，该网络通过结合像素和特征损失函数来学习来自不同视角的匹配对应的内在约束，并将深度图从相机空间转化为点云，并改善了深度图的精准性和连续性，该方法在 DTU 数据集上表现出了与以往有监督方法可比较的性能，并在坦克和寺庙基准测试中证明了其强大的泛化能力。

    Apr, 2020

  • M^3VSNet: 无监督多度量多视角立体网络

    提出了一种采用多指标无监督方法的多视点立体匹配网络，名为 M^3VSNet，用于稠密点云重建，结合像素级和特征级两种损失函数学习从不同角度的匹配对应的内在约束，并将法向深度一致性融入到三维点云格式中，从而提高深度估计图的准确性、连续性和鲁棒性。实验结果表明，该方法在 DTU 数据集上达到了有监督方法的水平，并在 Tanks and Temples 基准上获得了有效的改进和强大的泛化能力。

    Apr, 2020

  • 自监督学习的多视角立体深度推理

    提出了一种基于自监督学习框架的多视角立体网络，使用输入数据的伪标签来为网络提供超级噪声，此方法在 DTU 数据集上表现良好，并且在无监督多视图立体场景中能够显著优于现有的方法。

    Apr, 2021