半监督深度多视图立体
针对现有自监督方法在多视图重建中可能出现的相关点之间颜色不同的问题,本文提出了一种基于语义共分割和数据增强的更可靠监督的框架,其中利用多视图图像中的相互语义来指导语义一致性,同时设计了有效的数据增强机制,以确保对样本的变换鲁棒性。在 DTU 数据集上的实验结果表明,我们提出的方法在无监督方法中取得了最先进的性能,并且甚至可以与有监督方法一较高下。此外,在 Tanks&Temples 数据集上的广泛实验证明了该方法的有效泛化能力。
Apr, 2021
本文介绍了一种基于无监督学习的多视图深度图像学习方法,可以从多个视角的输入图像中学习深度和遮挡图像,并在训练和测试阶段都强制实施多视图深度一致性,进而为实际场景下处理遮挡提供更好的鲁棒性。
Aug, 2019
本文提出 DS-MVSNet,一种端到端的无监督多视点结构,并通过 Adaptive Gaussian Sampling 和 Improved Adaptive Bins Sampling 等方法来提高深度假设的准确性。同时,我们利用源深度来渲染参考图像,并提出了深度一致性损失和深度平滑性损失来提供额外的指导。最后,通过在 DTU 数据集和 Tanks&Temples 数据集上的一系列实验证明了我们的方法相对于现有方法的效率和稳健性。
Aug, 2022
提出了一种基于学习的多视点立体感知方法,可以在宽基线 MVS 环境下学习深度预测并通过稳健的损失函数处理遮挡和光照等问题。该方法不需要使用三维监督数据进行训练,并且可以通过无监督的微调实现对新数据集的适应。
May, 2019
本文介绍了一种新的方法,通过在学习过程中明确地鼓励多个源视图的参考视图深度图的几何一致性,加速学习过程,达到了 DTU 和 BlendedMVS 数据集的最新技术水平,并在 Tanks and Temples 基准上获得了有竞争力的结果。据我们所知,GC-MVSNet 是对多视图、多尺度几何一致性进行学习的第一次尝试。
Oct, 2023
提出了一种新的 UMVS 框架,通过估计自监督 MVS 中的认知不确定性来处理前景中的不确定监督和背景中的无效监督信号,并在 DTU 和 Tank&Temples 基准测试中获得了最佳性能。
Aug, 2021
本文提出了一种名为 M^3VSNet 的新型无监督多指标 MVS 网络,用于稠密点云重建,该网络通过结合像素和特征损失函数来学习来自不同视角的匹配对应的内在约束,并将深度图从相机空间转化为点云,并改善了深度图的精准性和连续性,该方法在 DTU 数据集上表现出了与以往有监督方法可比较的性能,并在坦克和寺庙基准测试中证明了其强大的泛化能力。
Apr, 2020
提出了一种采用多指标无监督方法的多视点立体匹配网络,名为 M^3VSNet,用于稠密点云重建,结合像素级和特征级两种损失函数学习从不同角度的匹配对应的内在约束,并将法向深度一致性融入到三维点云格式中,从而提高深度估计图的准确性、连续性和鲁棒性。实验结果表明,该方法在 DTU 数据集上达到了有监督方法的水平,并在 Tanks and Temples 基准上获得了有效的改进和强大的泛化能力。
Apr, 2020
本研究介绍了 BlendedMVS,一个新颖的数据集,用于为基于学习的 Multi-View Stereo(MVS)提供足够的训练样本,从而提高训练模型的泛化能力。对于创建这个数据集,我们使用 3D 重建管道从精选的场景图像中恢复高质量的纹理网格,然后将这些网格模型渲染为彩色图像和深度地图。
Nov, 2019
DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet),它可以对任意数量的姿态图像进行处理以预测高质量的视差图,其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。
Apr, 2018