提出了一种基于学习的多视点立体感知方法,可以在宽基线 MVS 环境下学习深度预测并通过稳健的损失函数处理遮挡和光照等问题。该方法不需要使用三维监督数据进行训练,并且可以通过无监督的微调实现对新数据集的适应。
May, 2019
DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet),它可以对任意数量的姿态图像进行处理以预测高质量的视差图,其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。
Apr, 2018
该论文提出了一种名为 SurfaceNet 的端到端学习框架,可用于多视图立体成像中的 3D 建模,并通过大规模 DTU 基准测试对 SurfaceNet 进行了验证。
Aug, 2017
DUSt3R 是一种新颖的范式,用于进行任意图像集合的密集和无约束立体三维重建,通过将成对的重建问题作为点图的回归来实现,进而实现单眼和双眼重建的统一,提供场景的三维模型和深度信息,并能够轻松恢复像素匹配、相对和绝对相机,DUSt3R 能够简化多种几何三维视觉任务。
Dec, 2023
本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet),首先提取深度视觉图像特征,然后利用不同 iable homography 变形构建 3D 成本体积,并使用 3D 卷积对初始深度图进行规则化和回归,最终与参考图像相结合生成最终输出,其通过引入基于方差的成本度量来适应任意 N-view 输入, 其表现优于现有同类方法并能很好地泛化于室内室外数据。
介绍了一种用于单个广角立体图像对的新视角合成的方法,包括 3D 场景重构和外观变化的先验模型,提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器,通过大规模实际数据集的训练,证明了模型学习到了强大的多视角几何先验,大大缩短了渲染时间,并在两个实际数据集上得到了显著的优越性能。
Apr, 2023
该研究论文采用视图合成过程和立体匹配相结合的方法,将单目深度估计问题分解为两个子问题,并明确地在推断过程中施加几何约束条件。经验证明,这种方法的性能优于以往的方法,并且只需使用少量的真实训练数据,同时也具有良好的泛化能力。
Mar, 2018
本文介绍了一种基于无监督学习的多视图深度图像学习方法,可以从多个视角的输入图像中学习深度和遮挡图像,并在训练和测试阶段都强制实施多视图深度一致性,进而为实际场景下处理遮挡提供更好的鲁棒性。
Aug, 2019
本文提出了 Differentiable Stereopsis 方法,这是一种从少量输入视角和嘈杂相机中重建形状和纹理的多视角立体成像方法,其采用传统立体成像和现代可微渲染相结合的方法搭建了一个端到端的模型,通过简单的梯度下降同时更新形状和相机,并通过多量化分析将其与传统的多视角立体成像技术和最先进的基于学习的方法进行比较,在挑战实际场景中展示了有说服力的重建效果。
Oct, 2021
本文提出了一种名为 PlaneMVS 的新型框架,用于从具有已知相机姿态的多个输入视图中重建 3D 平面。采用多视角几何的 MVS 流水线将平面重建解耦,采用倾斜平面假设来取代传统深度假设并最终学习像素级平面参数及其平面深度图。通过大量室内数据集的实验表明,PlaneMVS 在平面检测和 3D 几何度量上显著优于最先进的单视角平面重建方法。
Mar, 2022