DUSt3R:简化几何三维视觉
本文介绍一种名为 MVSTER 的新型多视角立体重建方法,该方法利用提出的极线 Transformer 以高效地学习 2D 和 3D 信息,采用级联结构以构建更精细的深度估计,通过熵正则化的最优传输算法来提高重建性能并显著减少运行时间。
Apr, 2022
通过在 DUSt3R 网络中引入新的头部,并训练密集局部特征以及附加匹配损失,我们改进了匹配能力,同时保持其鲁棒性,取得了显著的结果改进,击败了现有方法,并在多个匹配任务中实现了 30%的绝对改善。
Jun, 2024
本文提出了一种名为 M^3VSNet 的新型无监督多指标 MVS 网络,用于稠密点云重建,该网络通过结合像素和特征损失函数来学习来自不同视角的匹配对应的内在约束,并将深度图从相机空间转化为点云,并改善了深度图的精准性和连续性,该方法在 DTU 数据集上表现出了与以往有监督方法可比较的性能,并在坦克和寺庙基准测试中证明了其强大的泛化能力。
Apr, 2020
提出了一种采用多指标无监督方法的多视点立体匹配网络,名为 M^3VSNet,用于稠密点云重建,结合像素级和特征级两种损失函数学习从不同角度的匹配对应的内在约束,并将法向深度一致性融入到三维点云格式中,从而提高深度估计图的准确性、连续性和鲁棒性。实验结果表明,该方法在 DTU 数据集上达到了有监督方法的水平,并在 Tanks and Temples 基准上获得了有效的改进和强大的泛化能力。
Apr, 2020
本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet),首先提取深度视觉图像特征,然后利用不同 iable homography 变形构建 3D 成本体积,并使用 3D 卷积对初始深度图进行规则化和回归,最终与参考图像相结合生成最终输出,其通过引入基于方差的成本度量来适应任意 N-view 输入, 其表现优于现有同类方法并能很好地泛化于室内室外数据。
Apr, 2018
通过结合多视角全景图像、鲁棒的相机位姿估计、先进的图像处理以及点云密度化、网格重建和纹理生成等技术,本论文提出了一个增强型的多视角立体重建框架,显著提高了传统方法的准确性和精度,在处理遮挡和视角变化的复杂场景重建方面表现出了优异的计算效率和鲁棒性,对于实时处理和可扩展性要求高的情况,可以与当前最先进的神经隐式场方法相竞争甚至超越。
Jun, 2024
本文介绍了一种称为 MVSTR 的网络,利用 Transformer 提取拥有全局上下文和三维一致性的密集特征,对于 Multi-View Stereo(MVS)可靠的匹配至关重要。该网络解决了现有基于 CNN 的 MVS 方法视野有限的问题,提出了全局上下文 Transformer 模块和 3D-geometry Transformer 模块,并在实验中获得了最佳性能。
Dec, 2021
本文介绍了一种基于无监督学习的多视图深度图像学习方法,可以从多个视角的输入图像中学习深度和遮挡图像,并在训练和测试阶段都强制实施多视图深度一致性,进而为实际场景下处理遮挡提供更好的鲁棒性。
Aug, 2019
通过特征投影和反投影沿视线的方式,我们提出了一种用于多视图立体成像的学习系统,通过可微化运算,我们能够对 3D 形状进行度量重构,从而实现在几张相对较少的图像(甚至一张图像)中重建 3D 图像,并且证明了我们的方法在 ShapeNet 数据集上优于传统方法和最新的基于学习的方法。
Aug, 2017
通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题,我们提出了一种新的 3D 重构框架,该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法,并在定量和定性评估中展示了其卓越性能,从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比,我们将 Chamfer 距离误差降低了约 36%,将 PSNR 提高了约 30%。
Jan, 2024