AAAIJan, 2024

SD-MVS：基于分割驱动的变形多视图立体匹配与球面细化和 EM 优化

PDF
TL;DR通过使用 Segmentation-Driven Deformation Multi-View Stereo（SD-MVS）方法，并结合 Segment Anything Model（SAM）进行场景中语义实例的区分，以及采用独特的细化策略，可以显著提高重建的 3D 模型的完整性，并通过 Expectation-Maximization 算法优化匹配成本及超参数，有效减少参数过度依赖经验调整的问题。在 ETH3D 高分辨率多视角立体视觉基准和 Tanks and Temples 数据集上的评估表明，该方法能够在更少的时间内达到最先进的结果。
发现论文，激发创造
  • 多视角 SAM 联合深度预测和语义分割

    基于多视角立体视觉和基于 Transformer 的语义分割解码器的多任务方法在深度预测和分割预测方面呈现出相互的优势。

    Oct, 2023

  • SDL-MVS：遥感中多视图立体重建的视图空间和深度可变学习方法

    基于遥感图像的多视图立体匹配研究推动了大规模城市三维重建的发展，提出了一种基于视点空间和深度可变学习的新范式（SDL-MVS），通过可变学习范式进行视点空间和深度的变形，实现了准确的多视图深度估计。

    May, 2024

  • DeepMVS: 学习多视角立体视觉

    DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet)，它可以对任意数量的姿态图像进行处理以预测高质量的视差图，其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。

    Apr, 2018

  • MVSBoost：一种高效的基于点云的 3D 重建

    通过结合多视角全景图像、鲁棒的相机位姿估计、先进的图像处理以及点云密度化、网格重建和纹理生成等技术，本论文提出了一个增强型的多视角立体重建框架，显著提高了传统方法的准确性和精度，在处理遮挡和视角变化的复杂场景重建方面表现出了优异的计算效率和鲁棒性，对于实时处理和可扩展性要求高的情况，可以与当前最先进的神经隐式场方法相竞争甚至超越。

    Jun, 2024

  • 半监督深度多视图立体

    本文提出了一种基于半监督学习的多视角立体视觉 (SE-MVS) 框架，其中一些 MVS 数据仅带有稠密深度地面实况。通过一致性正则化和样式一致性损失来提高深度估计的精度和完整性，实验结果表明该方法优于全监督和无监督方法。

    Jul, 2022

  • 多视角立体表示重新审视：区域感知的 MVSNet

    本研究使用深度学习等技术，提出了一个基于点到表面距离的补丁感知（patch-awared）多视角立体重建（multi-view stereo）方法，能够更好地重建纹理缺失区域和表面边界，并且经过实验证明，在 DTU 和 Tanks & Temples 数据集上达到了最佳重建效果。

    Apr, 2023

  • 通过有效的协同分割和数据增强实现自监督的多视图立体匹配

    针对现有自监督方法在多视图重建中可能出现的相关点之间颜色不同的问题，本文提出了一种基于语义共分割和数据增强的更可靠监督的框架，其中利用多视图图像中的相互语义来指导语义一致性，同时设计了有效的数据增强机制，以确保对样本的变换鲁棒性。在 DTU 数据集上的实验结果表明，我们提出的方法在无监督方法中取得了最先进的性能，并且甚至可以与有监督方法一较高下。此外，在 Tanks＆Temples 数据集上的广泛实验证明了该方法的有效泛化能力。

    Apr, 2021

  • SVDM: 用于伪立体 3D 物体检测的单视角扩散模型

    本文提出了一个端到端的，高效的伪立体三维检测框架，引入了 Single-View Diffusion Model （SVDM），通过几次迭代逐渐将正确的信息像素传递到左图像中，这使得整个伪立体三维检测流水线可以端到端地训练，并且可以受益于立体检测器的训练。此外，我们进一步探讨了 SVDM 在无深度立体三维检测中的应用，并将最终框架与大多数立体检测器兼容。在 KITTI 数据集的多项基准测试中，我们实现了新的最先进性能。

    Jul, 2023

  • MVS^2: 多视图对称深度无监督多视图立体成像

    本文介绍了一种基于无监督学习的多视图深度图像学习方法，可以从多个视角的输入图像中学习深度和遮挡图像，并在训练和测试阶段都强制实施多视图深度一致性，进而为实际场景下处理遮挡提供更好的鲁棒性。

    Aug, 2019

  • 基于点的多视角立体网络

    Point-MVSNet 是用 point clouds 直接处理目标场景的深度学习网络，通过将 3D 几何先验和 2D 纹理信息融入特征增强的 point cloud 中，实现了在 multi-view stereo 中更高的精度、更高的计算效率和更大的灵活性。

    Aug, 2019