ICCVMar, 2021

MINE: 基于 NeRF 的连续深度 MPI，实现新视角综合

PDF
TL;DR本篇论文中，我们提出了一种名为 MINE 的算法，通过从单一图像进行密集的 3D 重建来执行新视角合成和深度估计，并引入了 NEural radiance fields（NeRF）进行连续深度泛化。给定单张图片为输入，MINE 能够预测出深度值的 4 通道图像（RGB 和体密度），从而共同重建相机截锥并填补遮挡内容。无需人工标注深度监督，我们在 iBims-1 和 NYU-v2 的深度估计中获得竞争结果。通过对 RealEstate10K，KITTI 和 Flowers Light Fields 进行大量实验，证明了 MINE 在新视角合成方面的表现优于现有技术。
novel view synthesisdepth estimationdense 3d reconstructionneural radiance fieldsdifferentiable rendering
发现论文，激发创造
  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • MVSNeRF：多视角立体下的快速通用辐射场重建

    提出了 MVSNeRF，这是一种新颖的神经渲染方法，可以通过快速网络推理从仅三个附近输入视图重建辐射场，利用平面扫描代价体进行几何感知场景推理，并将其与基于物理的体积渲染相结合，能够横跨场景（甚至是室内场景）泛化，并仅使用三个输入图像生成逼真的视图合成结果，比类似工作在可推广的辐射场重建方面表现显著优越。

    Mar, 2021

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • CMC: 跨视层多平面一致性的少样本新视角合成

    通过在 Neural Radiance Field 中引入深度感知一致性，利用分层表示构建多平面图像上的神经网络，并通过约束不同输入视图的渲染颜色和深度来规范未见目标视图，我们提出的方法能够在合成质量上超越现有方法。

    Feb, 2024

  • NerfingMVS: 室内多视图立体的神经辐射场引导优化

    本文提出一种新的多视角深度估计方法，利用传统重建和基于学习的 prior，结合神经辐射场（NeRF）来直接优化隐式体积，消除室内场景中匹配像素的困难步骤，并使用自适应的深度先验来引导 NeRF 的优化过程，通过渲染图像计算出的逐像素置信度图可用于进一步提高深度质量。

    Sep, 2021

  • MMPI: 多重多层次图像混合的灵活辐射场表示

    本文提出了一种基于多平面图像（MPI）的神经辐射场的灵活表示方法，用于复杂场景的高质量视图合成。通过多平面图像的参数化和自适应混合操作，实现了对复杂场景下各种视角和摄像机分布的高质量图像合成和长轨迹编码，从而在新视角合成方面超越了快速训练的方法，展示了在自动驾驶等应用中的潜力。

    Sep, 2023

  • SinMPI: 从单图像中生成扩展的多平面图像的新观点合成

    提出了 SinMPI 方法，通过扩展的多平面图像作为 3D 场景表示，使用稳定扩散生成超出视野内容并优化多平面图像，从而显著扩展了透视范围，生成高质量的新视图图像。

    Dec, 2023

  • 从稀疏的输入视图推断神经辐射场的密集深度先验

    本文提出了一种利用深度先验来优化神经光辐射场模型的新方法，可在使用尽可能少的输入图像进行室内场景的数据有效的新视角合成中实现高保真度。

    Dec, 2021

  • MSI-NeRF: 通过多球面图像辅助的泛化神经辐射场将全景深度与视图合成连接

    通过深度学习的全景深度估计和新视角渲染，本研究提出了 MSI-NeRF 方法，能够在虚拟现实应用中保留和利用原始鱼眼相机中的视差信息，实现全景的深度估计和六自由度视角合成。

    Mar, 2024

  • 学习神经双工辐射场进行实时视图合成

    本篇论文提出了一种新的方法，通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示，使用屏幕空间卷积，来提高外观的质量和整个框架的表现。

    Apr, 2023