Jun, 2024

GenS：多视角图像的通用神经表面重建

PDF
TL;DR我们提出了 GenS，一个端到端的通用神经表面重建模型，可以通过结合有符号距离函数（SDF）和可微体渲染，将多视图图像无需 3D 监督进行表面重建。与现有解决方案相比，我们的表示更强大，能够恢复高频细节并同时保持全局平滑性。同时，我们引入多尺度特征度量一致性，以在更具区分性的多尺度特征空间中施加多视图一致性，从而抵抗光度一致性的失效。我们还设计了一种视角对比损失，通过将密集输入中的几何先验精炼到稀疏输入中，强制模型对少视角覆盖的区域具有鲁棒性。在流行的基准测试上进行的大量实验证明，我们的模型能够很好地推广到新场景，并且胜过现有的最先进方法，即使那些使用地面真实深度监督的方法。
surface reconstructionmulti-view imagesneural modelvolume renderingfeature-metric consistency
发现论文，激发创造
  • Geo-Neus: 多视角重建的几何一致神经隐式曲面学习

    该论文提出了一种几何一致的神经隐式表面多视图重建方法，该方法利用多视觉几何约束和稀疏几何结构信息，结合有符号距离函数优化，以获得高质量的表面重建结果。

    May, 2022

  • SparseNeuS: 基於稀疏視角的快速通用神經表面重建

    SparseNeuS 是一种基于神经渲染的表面重建方法，采用有符号距离函数（SDF）作为表面表示，通过几何编码体引入图像特征的通用先验知识进行预测，在利用稀疏视图进行高质量重建时采用了多级几何推理框架、多尺度颜色融合方案和一致性感知微调。实验证明了该方法在速度、泛化性能和灵活性方面均表现出优越性。

    Jun, 2022

  • GSDF：3DGS 引入 SDF 以提升渲染与重构

    提出了一种新的双分支结构 GSDF，它将 3D 高斯喷洒（3DGS）表示法的灵活和高效与神经符号距离场（SDF）相结合，通过相互指导和联合监督来缓解它们的局限性，并在各种场景上展示了我们的设计能够更准确、更详细地重建表面，并同时使 3DGS 渲染受益于与底层几何更加一致的结构。

    Mar, 2024

  • 无 3D 监督的多视角图像神经三维场景重建

    本文提出了一种新的神经重建方法，使用可访问的 2D 图像作为监督来进行 3D 场景重建，其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建，并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。

    Jun, 2023

  • GeoGen：通过带符号距离函数的几何感知生成建模

    我们介绍了一种新的生成方法，通过单视图集合合成三维几何和图像。使用神经辐射场的体积渲染预测是目前现有方法的主要限制之一。为了解决这个问题，我们提出了一种基于有向面积函数的三维生成模型 GeoGen，通过学习可改变的转换并将渲染深度图与 SDF 的零级集限制一致性，从而在生成模型上实现更高保真度的细节。实验结果表明，GeoGen 相较于基于神经辐射场的以前的生成模型，在几何上产生了更好的视觉和数量化结果。

    Jun, 2024

  • Hyper-VolTran：基于超网络的快速且通用的一次性图像到 3D 物体结构转换

    从单一视角解决图像到三维的问题是一个不适定问题，现有的神经重建方法依靠场景特定的优化限制其泛化能力。为了克服现有方法在泛化和一致性方面的局限性，我们引入了一种新颖的神经渲染技术。我们的方法通过几何编码体积和超网络，采用有符号距离函数作为表面表示，并从生成的多视图输入构建神经编码体积，在测试时根据输入图像调整 SDF 网络的权重，通过超网络以前馈方式实现对新场景的模型适应。为了减轻合成视图产生的伪影，我们提出了一个体素变换模块来改善图像特征的聚合，而不是单独处理每个视点。通过我们提出的 Hyper-VolTran 方法，我们避免了场景特定优化的瓶颈，并保持从多个视点生成的图像的一致性。我们的实验证明了我们提出的方法的优越性，具有一致的结果和快速生成。

    Dec, 2023

  • 基于体渲染学习神经隐式曲面的多视角重建

    该研究提出了一种新颖的神经表面重建方法 NeuS，将表面表示为带符号距离函数的零水平集，并开发了一种新的体积渲染方法来训练神经 SDF 表示，自主进行高保真度的物体和场景三维重建。

    Jun, 2021

  • GenSDF: 通用有符号距离函数的两阶段学习

    本文研究了使用神经代表距离函数（SDF）进行三维对象表示学习的泛化能力，提出了一个半监督元学习方法，可将形状先验从有标签的数据传输到无标签的数据中，用于重建未知的对象类别，并实现了 100 多个未见过的类别的强大的零 - shot 推理。

    Jun, 2022

  • 学习符号距离场进行多视角表面重建

    本研究提出了一种基于神经隐式表达并结合立体匹配和特征保持的新型表面重建框架，使用有符号距离场和表面光场直接表示场景几何及外观，并通过优化多视角特征一致性和渲染图像的保真度来精细化表示几何形状，提高了复杂场景拓扑的重建鲁棒性，实验结果表明相较于现有最优方法，本方法在无需输入蒙版的广阔场景网格重建上具有更佳的表现。

    Aug, 2021

  • 快速通用高斯投影立体视图重建

    MVSGaussian 是一种新的通用化的三维高斯表示方法，通过多视点立体视觉 (MVS) 有效重建未见过的场景，具有实时渲染速度和良好的综合质量。

    May, 2024