ICCVAug, 2023

V-FUSE：长程约束下的体素深度图融合

PDF
TL;DR我们介绍了一个基于学习的深度图融合框架，它接受多视点立体匹配算法生成的深度和置信图集合作为输入并对其进行改进。这通过将编码不同视图之间的远程表面关系的体积可见性约束集成到端到端可训练的架构中来实现。同时，我们还引入了一个深度搜索窗口估计子网络与更大的融合子网络联合训练，以减少每条射线上的深度假设搜索空间。我们的方法通过直接从数据中学习建模深度一致性和可见性约束的违规，从而有效地消除了微调融合参数的必要性。在多视点立体匹配数据集上进行了大量实验证明，输出融合深度和置信图的准确性有了显著提升。
learning-based depth map fusionmulti-view stereo (mvs) algorithmvolumetric visibility constraintsdepth search window estimationfusion parameters
发现论文，激发创造
  • VolumeFusion：基于深度学习的三维场景重建深度融合技术

    本文介绍了一种利用深度神经网络复制传统的 local depth maps calculation 和 global depth maps fusion 两步骤框架，以改善对 3D 场景重建精度和可解释性的计算机视觉任务方法。此外，作者还提出了一种称为 PosedConv 的旋转不变的 3D 卷积核，用于提高从非常不同视角获取的图像之间的匹配效率。作者在 ScanNet 数据集上进行了大量实验证明提出的方法在深度神经网络和传统计算机视觉技术中具有竞争力。

    Aug, 2021

  • 3DVNet: 多视角深度预测和体积细化

    3DVNet 是一种结合了先前基于深度和体积的 MVS 方法优点的新型多视图立体 (multi-view stereo) 深度预测方法，使用基于体积的三维卷积神经网络来对所有深度图进行操作，并能够学习有意义的场景级先验知识，其在深度预测和 3D 重建度量上均超越了现有技术，证明该方法在新的环境下具有很好的效果和通用性。

    Dec, 2021

  • RoutedFusion：学习实时深度地图融合

    本文提出了一种基于机器学习的实时深度图融合方法，使用 2D 深度路由网络和 3D 深度融合网络来预测非线性更新，处理传感器特定噪声和异常值，能更好地避免传统方法中的粗化伪影问题，在合成数据和真实数据中均取得了优于传统方法和相关方法的结果。

    Jan, 2020

  • 基于深度合成的无监督多视角立体匹配网络 DS-MVSNet

    本文提出 DS-MVSNet，一种端到端的无监督多视点结构，并通过 Adaptive Gaussian Sampling 和 Improved Adaptive Bins Sampling 等方法来提高深度假设的准确性。同时，我们利用源深度来渲染参考图像，并提出了深度一致性损失和深度平滑性损失来提供额外的指导。最后，通过在 DTU 数据集和 Tanks＆Temples 数据集上的一系列实验证明了我们的方法相对于现有方法的效率和稳健性。

    Aug, 2022

  • 学习的语义多传感器深度图融合

    通过神经网络重建，将基于截断有符号距离函数的三维重建方法从多个方面进行了推广，包括语义信息的丰富、多传感器数据融合、场景去噪与完整以及专家系统整合。

    Sep, 2019

  • OctNetFusion: 从数据中学习深度融合

    本研究提出了一种基于深度学习的方法来进行深度融合，可以更好的处理深度图像数据中的噪声和异常值，并能够完整地重建三维物体形态，并且能够填补穴洞，具有更好的性能表现。

    Apr, 2017

  • MVSNet: 不规则多视图立体的深度推断

    本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet)，首先提取深度视觉图像特征，然后利用不同 iable homography 变形构建 3D 成本体积，并使用 3D 卷积对初始深度图进行规则化和回归，最终与参考图像相结合生成最终输出，其通过引入基于方差的成本度量来适应任意 N-view 输入， 其表现优于现有同类方法并能很好地泛化于室内室外数据。

    Apr, 2018

  • MVD-Fusion: 单视角 3D 通过深度一致的多视角生成

    通过对多视角一致的 RGB-D 图像进行生成建模，我们提出了 MVD-Fusion：一种用于通过单视角推理 3D 的方法。

    Apr, 2024

  • 基于点的多视角立体网络

    Point-MVSNet 是用 point clouds 直接处理目标场景的深度学习网络，通过将 3D 几何先验和 2D 纹理信息融入特征增强的 point cloud 中，实现了在 multi-view stereo 中更高的精度、更高的计算效率和更大的灵活性。

    Aug, 2019

  • VisFusion：基于可见性的在线视频三维场景重建

    提出了一种名为 VisFusion 的可见性感知在线 3D 场景重建方法，通过对单目视频进行姿态估计来恢复场景的体量特征，并提出了细节保留的局部稀疏化方法和分层预测 TSDF 的方法，实验结果表明我们的方法能够获得卓越的性能。

    Apr, 2023