Apr, 2024

DiSR-NeRF：扩散引导的视角一致超分辨率 NeRF

PDF
TL;DRDiSR-NeRF 是一个利用扩散引导的框架来实现视图一致的超分辨率 NeRF，该方法通过利用现有的强大 2D 超分辨率模型来规避高分辨率参考图像的要求，并通过 NeRF 的内在多视图一致性属性提出了迭代的 3D 同步技术来减轻 LR 渲染图像之间不一致的问题。通过 Renoised Score Distillation，我们进一步引入了一种新颖的用于 2D 图像分辨率的评分蒸馏目标函数。我们的 DiSR-NeRF 在合成和真实世界数据集上进行的定性和定量结果表明，与现有方法相比，我们的方法在 NeRF 超分辨率上可以取得更好的效果。
disr-nerfsuper-resolutionview-consistenti3dsrenoised score distillation
发现论文，激发创造
  • Super-NeRF: NeRF 超分辨率图像的视角一致细节生成

    该论文提出了 Super-NeRF 方法，通过对低分辨率输入进行 2D 超分辨率的控制，构建了一个一致性控制超分辨率模块，以生成视图一致的高分辨率 NeRF 模型，从而实现高分辨率细节的生成和跨视图一致性。

    Apr, 2023

  • ASSR-NeRF: 在体素网格上实现任意尺度超分辨率以高质量重建辐射场

    提出了一种名为 Arbitrary-Scale Super-Resolution NeRF (ASSR-NeRF) 的新型框架，通过使用 VoxelGridSR 模型在优化的体积上直接进行 3D 超分辨率 (SR) 操作，从而实现超分辨率新视角合成 (SRNVS)。通过在多样化场景上进行训练，可以确保模型的泛化能力，在训练过程中，对于使用低分辨率视角的未见场景，可以直接应用 VoxelGridSR 来进一步优化体积，并实现多视角一致的超分辨率 (SR)。实验证明，所提出的方法在 SRNVS 上取得了显着的性能提升。

    Jun, 2024

  • 单级扩散 NeRF：一种统一的三维生成和重建方法

    本文提出了一种称为 SSDNeRF 的新方法，它使用表达能力强的 Diffusion Model 从多视图图像中学习神经辐射场（NeRF）的可推广先验，实现 3D 重建和先验学习的同时，证明了该方法在无条件生成和单 / 稀疏视图 3D 重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。

    Apr, 2023

  • NeRF-SR：使用超采样的高质量神经辐射场

    NeRF-SR 是一种高分辨率、低分辨率输入的新视角综合解决方案，基于神经放射场，利用超采样策略和改进网络，在没有外部信息的情况下，实现了高质量的新视角合成。

    Dec, 2021

  • 高斯 SR: 二维扩散先验下的三维高斯超分辨率

    通过使用 3D 高斯喷洒、得分蒸馏抽样等技术实现基于低分辨率输入视图的高分辨率新视图合成。

    Jun, 2024

  • NeRDi: 基于语言引导扩散的单视角 NeRF 综合技术作为通用图像先验

    提出 NeRDi—— 一种基于 2D 扩散模型通用图像先验的单视角 NeRF 综合框架，借助自然语言模型引导扩散模型进行图像合成，结合估算的深度图的几何约束，优化重建的 NeRF 表示，进而实现高质量的全景图像生成。

    Dec, 2022

  • ZS-SRT：神经辐射场的高效零样本超分辨率训练方法

    我们提出了一种 NeRF 的零样本超分辨率训练框架，通过单场景内部学习指导 NeRF 模型合成高分辨率的新颖视角，而无需外部高分辨率训练数据。我们的方法采用两个阶段，首先通过内部学习在预训练的低分辨率粗糙 NeRF 上学习场景特定的退化映射，然后通过反向渲染使用映射函数优化超分辨率细致 NeRF，并通过推理阶段引入时间集成策略来补偿场景估计错误。通过在公共数据集上进行大量实验，我们定性和定量地验证了我们方法的有效性。

    Dec, 2023

  • ConsistentNeRF: 在 3D 一致性方面增强神经辐射场，用于稀疏视图合成

    该论文提出了 ConsistentNeRF 方法，通过深度信息规范化像素之间的 3D 一致性，以提高 NeRF 在稀疏视图下的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中，与基线方法相比，该方法可以显著提高模型性能，如 PSNR 可提高 94％，SSIM 可提高 76％，LPIPS 可提高 31％。

    May, 2023

  • NeRF-DetS：使用采样自适应连续 NeRF-based 表示网络增强多视角 3D 物体检测

    基于 NeRF 和多视角信息融合，提出了一个新的 3D 感知网络结构 NeRF-DetS，实现了在室内多视图 3D 物体检测方面的大幅提升。

    Apr, 2024

  • ReconFusion：基于扩散先验的三维重建

    使用少量照片重建现实场景的方法，通过在合成和多视图数据集上训练的扩散先验来对新视角的合成进行规范化，从而在超约束区域综合出逼真的几何和纹理，同时保持观察区域的外观。与以前的少视图 NeRF 重建方法相比，我们在各种真实世界数据集上进行了广泛评估，包括正向和 360 度场景，并展示了显著的性能改进。

    Dec, 2023