May, 2015

保留细节与感知内容的变分多视角立体重建

PDF
TL;DR本文研究了多视角立体重建中的细节保持和内容感知不全变分（DCV）方法，该方法通过交替进行重投影误差最小化和网格去噪，利用图像滤波和图像配准建立了一种新的图像相似度度量，能够有效地保留表面的细节特征，同时提出了一种适应性估计方法，能够更好地抑制噪声并保持尖锐的特征。实验结果表明，DCV 方法能够比现有的方法更好地恢复更多的表面细节，并获得比现有技术更干净和更准确的重建。
3d surface reconstructionmulti-view stereomesh denoisingreprojection error minimizationfine-scale details preservation
发现论文，激发创造
  • 多视角立体表示重新审视：区域感知的 MVSNet

    本研究使用深度学习等技术，提出了一个基于点到表面距离的补丁感知（patch-awared）多视角立体重建（multi-view stereo）方法，能够更好地重建纹理缺失区域和表面边界，并且经过实验证明，在 DTU 和 Tanks & Temples 数据集上达到了最佳重建效果。

    Apr, 2023

  • 2L3: 将不完美生成的 2D 图像提升到精确的 3D

    通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

    Jan, 2024

  • MvDeCor：用于精细三维分割的多视角稠密对应学习

    本研究提出了一种利用自我监督技术在二维领域进行细粒度三维形状分割任务的方法，并实现对 3D 形状的多视角表征，透过对比学习框架中密集对应关系的学习任务，实现对 2D 表征的无视角和几何一致性特性的学习，经实验表明，该方法在纹理和无纹理的三维数据集上的表现优于现有的最先进方法，尤其在训练仅局限于少量标记数据或形状纹理较丰富时的表现更加优异，证明了二维处理和三维几何推断对该方法整体的提升效果。

    Aug, 2022

  • 基于不确定性感知的深度多视角光度立体

    本文提出一种有效的解决方案，利用光度立体测量和多视角立体测量的互补优势，通过基于不确定性感知的深光度立体网络和深多视角立体网络估计每像素表面法线和深度，从而实现密集、详细和精确的物体表面轮廓重建。

    Feb, 2022

  • 学习的协作立体修复

    本文提出了一种基于学习的方法来去噪和优化所给定的立体方法的视差图。该方法通过资源一个由联合视差、颜色和置信度图像空间中的变分能量定义的近端梯度方法的迭代来自然生成。我们的方法允许学习鲁棒的协作正则化器，利用颜色图像、置信度图和视差图的联合统计信息。由于我们的方法是变分结构的，因此可以轻松可视化单个步骤，从而实现可解释性。因此，我们可以提供如何优化和去噪视差图的有趣见解。我们的方法的效率得到了公开可用的 Middlebury 2014 和 Kitti 2015 立体基准测试的证明。

    Jul, 2019

  • 使用带引导的稀疏特征体积融合从单目视频中增量稠密重建

    本文提出了基于特征体积的实时密集重建方法，采用稀疏的深度特征体积来预测 TSDF 值，通过多视角图像聚合细节信息进行时序融合，实现了比以往更高分辨率和更完整细节的三维几何图形重建，其在室内和室外场景中都比现有的方法具有更好的实时重建性能。

    May, 2023

  • 通过学习隐式函数从多视角图像中恢复详细的面部几何形状

    本文提出了一种新型架构来在数十秒内恢复极其详细的 3D 人脸，通过在多视图图像中拟合一个 3D 可塑模型，提取并聚合多个图像的特征，学习一种用于回归匹配成本的隐式函数。与先前的学习方法相比，在 FaceScape 数据集上准确性更高。

    Jan, 2022

  • 使用非标定立体数据混合数据集训练保持几何特征的单级三维深度估计模型

    提出 GP$^{2}$ 训练方案，利用立体图像数据训练单视图深度估计模型，实现了在保持几何结构的同时提高了模型的准确度和速度，同时证明该模型在使用完备数据集很少情况下也能够学习到准确的深度预测。

    Jun, 2023

  • 通过解离几何和外观来进行多视图神经表面重建

    本文介绍一种神经网络架构，通过联合学习未知几何形状、相机参数和神经渲染器，能够高质量、高精度、高细节地实现多角度 3D 表面重建。该方法通过零级集的神经网络表示几何形状，并采用基于渲染方程的神经渲染器来预测表面上的光的反射情况，具有广泛的光照和材质建模能力。

    Mar, 2020

  • MVDD：多视角深度扩散模型

    利用多视角深度，通过 MVDD 扩展扩散模型以生成高质量的 3D 形状，并通过增强视图之间的一致性及深度图对齐来提供卓越的 3D 形状生成和深度完成能力，以及作为下游任务的 3D 先验。

    Dec, 2023