Apr, 2024

多视图立体重建的自适应学习

PDF
TL;DR本文研究了深度学习在多视图立体视觉任务中的优秀性能，并通过分析现有的损失函数，提出了一种新的自适应 Wasserstein 损失函数以及一个简单而有效的偏移模块，通过在不同基准测试中的广泛实验证明，该方法在自适应 Wasserstein 损失和偏移模块的支持下实现了最先进的性能。
deep learningmulti-view stereoloss functionsadaptive wasserstein lossoffset module
发现论文，激发创造
  • 多视角立体视觉深度估计的反思：一种统一的表示方法

    本文提出了一种新的深度图表示方式 ——Unification，将回归和分类学习的优势结合在一起，在设计了新的统一 Focal Loss 的基础上，构建了一个粗到细的 Coarse-to-fine framework，称为 UniMVSNet，实现了最好的深度估计效果和最佳的泛化能力。

    Jan, 2022

  • DeepMVS: 学习多视角立体视觉

    DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet)，它可以对任意数量的姿态图像进行处理以预测高质量的视差图，其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。

    Apr, 2018

  • 基于深度合成的无监督多视角立体匹配网络 DS-MVSNet

    本文提出 DS-MVSNet，一种端到端的无监督多视点结构，并通过 Adaptive Gaussian Sampling 和 Improved Adaptive Bins Sampling 等方法来提高深度假设的准确性。同时，我们利用源深度来渲染参考图像，并提出了深度一致性损失和深度平滑性损失来提供额外的指导。最后，通过在 DTU 数据集和 Tanks＆Temples 数据集上的一系列实验证明了我们的方法相对于现有方法的效率和稳健性。

    Aug, 2022

  • MVS^2: 多视图对称深度无监督多视图立体成像

    本文介绍了一种基于无监督学习的多视图深度图像学习方法，可以从多个视角的输入图像中学习深度和遮挡图像，并在训练和测试阶段都强制实施多视图深度一致性，进而为实际场景下处理遮挡提供更好的鲁棒性。

    Aug, 2019

  • 多视角立体表示重新审视：区域感知的 MVSNet

    本研究使用深度学习等技术，提出了一个基于点到表面距离的补丁感知（patch-awared）多视角立体重建（multi-view stereo）方法，能够更好地重建纹理缺失区域和表面边界，并且经过实验证明，在 DTU 和 Tanks & Temples 数据集上达到了最佳重建效果。

    Apr, 2023

  • MVSNet: 不规则多视图立体的深度推断

    本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet)，首先提取深度视觉图像特征，然后利用不同 iable homography 变形构建 3D 成本体积，并使用 3D 卷积对初始深度图进行规则化和回归，最终与参考图像相结合生成最终输出，其通过引入基于方差的成本度量来适应任意 N-view 输入， 其表现优于现有同类方法并能很好地泛化于室内室外数据。

    Apr, 2018

  • RobustMVS: 单域通用深度多视角立体视觉

    本研究针对多视点立体重建（Multi-view Stereo，MVS）领域中的领域泛化问题，提出了一种名为 RobustMVS 的新型框架，并引入 DepthClustering-guided Whitening（DCW）损失以维持不同视角之间的特征一致性，实验结果表明我们的方法在领域泛化基准测试中取得了优越性能。

    May, 2024

  • 高分辨率多视角立体深度推测的循环 MVSNet

    本研究提出基于递归神经网络的可扩展多视图立体（MVS）网络，通过递归因子单元（GRU）减少内存消耗，实现对高分辨率场景的高效重建。实验结果显示该方法在最近的 MVS 基准上取得了最先进的性能并在多个大规模场景上显示了伸缩性。

    Feb, 2019

  • RayMVSNet: 基于光线的 1D 隐式场学习用于精确的多视图立体匹配

    本论文提出了一种基于 RayMVSNet 的多视角深度学习，通过直接优化沿每个摄像头光线的深度值来降低了计算和存储的成本，其处理基于转换器特征进行的串行建模是传统多视角立体匹配的重要方法，并且在 DTU 和 Tanks & Temples 数据集上的评估结果表明其优于之前所有的学习方法。

    Apr, 2022

  • M^3VSNet: 无监督多指标多视角立体网络

    本文提出了一种名为 M^3VSNet 的新型无监督多指标 MVS 网络，用于稠密点云重建，该网络通过结合像素和特征损失函数来学习来自不同视角的匹配对应的内在约束，并将深度图从相机空间转化为点云，并改善了深度图的精准性和连续性，该方法在 DTU 数据集上表现出了与以往有监督方法可比较的性能，并在坦克和寺庙基准测试中证明了其强大的泛化能力。

    Apr, 2020