Sep, 2023

使用场景先验的通用神经场进行三维重建

PDF
TL;DR在高保真度 3D 场景重建方面，神经场的最新进展已经有了实质性的提升。然而，大多数现有方法为每个独立场景训练单独的神经网络，这不可扩展、低效且对有限视角下的结果不理想。本研究引入了训练可推广的神经场，将场景先验结合其中，从而更好地解决上述问题，并支持单张图像的新视角合成。
3d scene reconstructionneural fieldstraininggeneralizable neural fieldsscene priors
发现论文，激发创造
  • 从稀疏的输入视图推断神经辐射场的密集深度先验

    本文提出了一种利用深度先验来优化神经光辐射场模型的新方法，可在使用尽可能少的输入图像进行室内场景的数据有效的新视角合成中实现高保真度。

    Dec, 2021

  • 深度场网络用于多视角场景的通用表示

    提出了一种使用 Transformer 架构学习隐式多视图一致场景表示并引入一系列 3D 数据增强技术的方法来增加视角多样性的深度估计网络，同时介绍了引入视角合成作为辅助任务，该网络在不使用显式几何约束的情况下在立体和视频深度估计方面取得了最先进的结果， 并在零样本领域泛化方面有了显著的提高。

    Jul, 2022

  • 使用伪深度和融合改进的神经辐射场

    通过构建多尺度编码体积和提供多尺度几何信息给 NeRF 模型，本文在新颖视角合成和密集几何建模方面提出了一种先进行深度预测和辐射场重建，以使构建的体积尽可能接近场景中物体的表面和渲染的深度更准确，然后通过深度引导的邻域特征融合，提高点体积特征的质量，从而实现了对场景进行优化而不是对单个场景优化的结果。

    Jul, 2023

  • MVSNeRF：多视角立体下的快速通用辐射场重建

    提出了 MVSNeRF，这是一种新颖的神经渲染方法，可以通过快速网络推理从仅三个附近输入视图重建辐射场，利用平面扫描代价体进行几何感知场景推理，并将其与基于物理的体积渲染相结合，能够横跨场景（甚至是室内场景）泛化，并仅使用三个输入图像生成逼真的视图合成结果，比类似工作在可推广的辐射场重建方面表现显著优越。

    Mar, 2021

  • 场景理解的分解神经表示

    本研究提出了一种基于神经网络的场景表示方法，可以直接从 RGB-D 视频中学习物体级别的神经表示，并具有显式的对象运动编码和 / 或变形编码，该方法评估后表明具有高效性，可解释性和可编辑性。

    Apr, 2023

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • ReconFusion：基于扩散先验的三维重建

    使用少量照片重建现实场景的方法，通过在合成和多视图数据集上训练的扩散先验来对新视角的合成进行规范化，从而在超约束区域综合出逼真的几何和纹理，同时保持观察区域的外观。与以前的少视图 NeRF 重建方法相比，我们在各种真实世界数据集上进行了广泛评估，包括正向和 360 度场景，并展示了显著的性能改进。

    Dec, 2023

  • 室内场景重建与细节增强的混合表达和法线先验

    通过将低频和高频区域分别表示，并结合图像锐化和去噪技术以及估计像素级表面法线向量的网络，我们的混合架构和改进的正常先验可以显著提高室内场景的重建质量。

    Sep, 2023

  • NeRFusion: 大规模场景重建中径流场融合

    NeRFusion 提出了一种方法，通过将 NeRF 和 TSDF-based fusion 技术结合起来，实现了大规模室内场景的高效重建和逼真渲染，使用全新的循环神经网络来递增地重建实时稀疏场景表示，进一步提高了渲染质量，取得了大规模室内和小型物体场景的最先进质量，并比 NeRF 和其他最新方法重建速度更快。

    Mar, 2022

  • 无 3D 监督的多视角图像神经三维场景重建

    本文提出了一种新的神经重建方法，使用可访问的 2D 图像作为监督来进行 3D 场景重建，其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建，并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。

    Jun, 2023