MVSTER:高效的多视角立体匹配的基于极线变换机制的转换器
本文介绍了一种称为 MVSTR 的网络,利用 Transformer 提取拥有全局上下文和三维一致性的密集特征,对于 Multi-View Stereo(MVS)可靠的匹配至关重要。该网络解决了现有基于 CNN 的 MVS 方法视野有限的问题,提出了全局上下文 Transformer 模块和 3D-geometry Transformer 模块,并在实验中获得了最佳性能。
Dec, 2021
DUSt3R 是一种新颖的范式,用于进行任意图像集合的密集和无约束立体三维重建,通过将成对的重建问题作为点图的回归来实现,进而实现单眼和双眼重建的统一,提供场景的三维模型和深度信息,并能够轻松恢复像素匹配、相对和绝对相机,DUSt3R 能够简化多种几何三维视觉任务。
Dec, 2023
提出 CER-MVS (Cascaded Epipolar RAFT Multiview Stereo) 方法,使用 RAF(Recurrent All-Pairs Field Transforms)架构,引入 epipolar cost volumes,cost volume cascading,multiview fusion of cost volumes,dynamic supervision 以及 multiresolution fusion of depth maps 等五种新方法以从多个校准图像中重建 3D 模型,具有较强性能。
May, 2022
近期基于学习的多视点立体(MVS)方法中,引入了具有注意机制的基于 Transformer 模型的最新进展;然而,现有方法对 Transformer 在不同 MVS 模块上的深远影响尚未进行彻底研究,导致深度估计能力有限。本文提出了 MVSFormer++ 方法,通过充分利用注意机制固有特性增强 MVS 流程的各个组成部分,将跨视图信息融入预训练的 DINOv2 模型以促进 MVS 学习,并采用不同的注意机制对特征编码器和代价体积正则化进行处理,分别关注特征和空间聚合。此外,我们发现一些设计细节会极大地影响 Transformer 模块在 MVS 中的性能,包括归一化的三维位置编码、自适应注意力缩放和层归一化的位置。在 DTU、Tanks-and-Temples、BlendedMVS 和 ETH3D 上进行的综合实验验证了所提出方法的有效性。值得注意的是,MVSFormer++ 在具有挑战性的 DTU 和 Tanks-and-Temples 基准上实现了最先进的性能。
Jan, 2024
应用非局部特征增强和基于双线搜索的 Transformer 方法改进多视角立体视觉的特征匹配,并在学习式 MVS 基线 ET-MVSNet 中加入 Epipolar Transformer 技术,提高了重建性能。
Sep, 2023
本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet),首先提取深度视觉图像特征,然后利用不同 iable homography 变形构建 3D 成本体积,并使用 3D 卷积对初始深度图进行规则化和回归,最终与参考图像相结合生成最终输出,其通过引入基于方差的成本度量来适应任意 N-view 输入, 其表现优于现有同类方法并能很好地泛化于室内室外数据。
Apr, 2018
Point-MVSNet 是用 point clouds 直接处理目标场景的深度学习网络,通过将 3D 几何先验和 2D 纹理信息融入特征增强的 point cloud 中,实现了在 multi-view stereo 中更高的精度、更高的计算效率和更大的灵活性。
Aug, 2019
DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet),它可以对任意数量的姿态图像进行处理以预测高质量的视差图,其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。
Apr, 2018
本文提出了一种新颖的跨尺度变换器来处理不同阶段的特征表示,同时引入了自适应匹配感知变换器、双特征引导聚合和特征度量损失等方法,以提高深度估计的准确性。实验证明,这种方法在 DTU 数据集和 Tanks and Temples 基准测试中取得了最先进的结果。
Dec, 2023
本研究提出了 TransMVSNet,它是基于多视图立体视觉(MVS)中的特征匹配的探索而来的,利用 Feature Matching Transformer 实现自内、交叉注意力聚合图像内外的长程上下文信息来完成 MVS 任务,并借助 Adaptive Receptive Field 模块和 Pair-wise feature correlation 量化特征的相似性和优化任务效果。实验结果表明,该方法在多个基准数据集上取得了最优的性能。
Nov, 2021