ICCVAug, 2021

VolumeFusion：基于深度学习的三维场景重建深度融合技术

PDF
TL;DR本文介绍了一种利用深度神经网络复制传统的 local depth maps calculation 和 global depth maps fusion 两步骤框架，以改善对 3D 场景重建精度和可解释性的计算机视觉任务方法。此外，作者还提出了一种称为 PosedConv 的旋转不变的 3D 卷积核，用于提高从非常不同视角获取的图像之间的匹配效率。作者在 ScanNet 数据集上进行了大量实验证明提出的方法在深度神经网络和传统计算机视觉技术中具有竞争力。
3d scene reconstructionmulti-view stereodepth maps computationdeep neural networksposing-invariant 3d convolution kernel
发现论文，激发创造
  • OctNetFusion: 从数据中学习深度融合

    本研究提出了一种基于深度学习的方法来进行深度融合，可以更好的处理深度图像数据中的噪声和异常值，并能够完整地重建三维物体形态，并且能够填补穴洞，具有更好的性能表现。

    Apr, 2017

  • BNV-Fusion: 使用双层神经体积融合进行密集三维重建

    本篇论文提出了一种基于神经隐式表达和神经渲染的双层神经体积融合方法，用于增量式地将新的深度图像融合到全局神经隐式表示中，以实现密集的 3D 重建，评估表明此方法在多个数据集上均得到了显著的改进。

    Apr, 2022

  • 神经融合：隐空间中的在线深度融合

    本文提出了一种新颖的在线深度图融合方法，该方法使用潜在特征空间学习深度图聚合，并通过附加的翻译器网络在场景表示和输出场景表示之间分离，该方法适用于处理高噪声等异常值，实验结果表明，与现有技术相比，在处理大量噪声和异常值的挑战性场景中获得了改进。

    Nov, 2020

  • 3DVNet: 多视角深度预测和体积细化

    3DVNet 是一种结合了先前基于深度和体积的 MVS 方法优点的新型多视图立体 (multi-view stereo) 深度预测方法，使用基于体积的三维卷积神经网络来对所有深度图进行操作，并能够学习有意义的场景级先验知识，其在深度预测和 3D 重建度量上均超越了现有技术，证明该方法在新的环境下具有很好的效果和通用性。

    Dec, 2021

  • Atlas: 从姿态图像实现端到端三维场景重建

    提出了一种端到端的三维重建方法，通过直接回归截断带符号距离函数（TSDF）从一组姿势 RGB 图像中实现。使用 2D CNN 独立地提取每个图像的特征，然后通过相机内参和外参进行反投影和累积到体素体积中。此外，通过该方法获取到了三维模型的语义分割。该方法在 Scannet 数据集上得到了评估，既在量化指标上，也在视觉效果上都超过了国际领先的基准结果。

    Mar, 2020

  • SimpleRecon：无需 3D 卷积的 3D 重建

    通过多视角深度估计方法实现了精确简易的三维重建，在 ScanNet 和 7-Scenes 等数据集上的效果已经超过目前最先进的深度估计算法。

    Aug, 2022

  • FineRecon: 深度感知前馈网络用于详细三维重建

    本文介绍了三种有效的方法来改善基于内推法的三维重建的精度，分别为：分辨率无关的 TSDF 监督策略、使用多视角深度估计的深度引导策略和使用高分辨率图像特征的新颖体系结构。这些方法可以使三维重建更加精细准确。

    Apr, 2023

  • 学习先验概率的概率融合用于标准 3D 重建流水线

    本研究提出将单视角深度先验与传统三维重建系统融合，通过预测概率分布并使用代价函数最小化来提取深度图，并证明了该方法在整个系统性能方面的优越性。

    Jul, 2022

  • V-FUSE：长程约束下的体素深度图融合

    我们介绍了一个基于学习的深度图融合框架，它接受多视点立体匹配算法生成的深度和置信图集合作为输入并对其进行改进。这通过将编码不同视图之间的远程表面关系的体积可见性约束集成到端到端可训练的架构中来实现。同时，我们还引入了一个深度搜索窗口估计子网络与更大的融合子网络联合训练，以减少每条射线上的深度假设搜索空间。我们的方法通过直接从数据中学习建模深度一致性和可见性约束的违规，从而有效地消除了微调融合参数的必要性。在多视点立体匹配数据集上进行了大量实验证明，输出融合深度和置信图的准确性有了显著提升。

    Aug, 2023

  • RoutedFusion：学习实时深度地图融合

    本文提出了一种基于机器学习的实时深度图融合方法，使用 2D 深度路由网络和 3D 深度融合网络来预测非线性更新，处理传感器特定噪声和异常值，能更好地避免传统方法中的粗化伪影问题，在合成数据和真实数据中均取得了优于传统方法和相关方法的结果。

    Jan, 2020