Dec, 2023

ZS-SRT：神经辐射场的高效零样本超分辨率训练方法

PDF
TL;DR我们提出了一种 NeRF 的零样本超分辨率训练框架，通过单场景内部学习指导 NeRF 模型合成高分辨率的新颖视角，而无需外部高分辨率训练数据。我们的方法采用两个阶段，首先通过内部学习在预训练的低分辨率粗糙 NeRF 上学习场景特定的退化映射，然后通过反向渲染使用映射函数优化超分辨率细致 NeRF，并通过推理阶段引入时间集成策略来补偿场景估计错误。通过在公共数据集上进行大量实验，我们定性和定量地验证了我们方法的有效性。
neural radiance fieldszero-shot super-resolutioninternal learninginverse renderingtemporal ensemble
发现论文，激发创造
  • Super-NeRF: NeRF 超分辨率图像的视角一致细节生成

    该论文提出了 Super-NeRF 方法，通过对低分辨率输入进行 2D 超分辨率的控制，构建了一个一致性控制超分辨率模块，以生成视图一致的高分辨率 NeRF 模型，从而实现高分辨率细节的生成和跨视图一致性。

    Apr, 2023

  • NeRF-SR：使用超采样的高质量神经辐射场

    NeRF-SR 是一种高分辨率、低分辨率输入的新视角综合解决方案，基于神经放射场，利用超采样策略和改进网络，在没有外部信息的情况下，实现了高质量的新视角合成。

    Dec, 2021

  • SinNeRF：单图训练神经辐射场处理复杂场景

    本论文提出了单视角 NeRF 框架 (SinNeRF)，通过引入半监督的学习过程，利用几何标签和语义标签指导训练过程，成功实现了仅通过单个视图将神经辐射场训练到现实场景，即使在不进行多视图数据集预训练的情况下，SinNeRF 可产生逼真的新视图综合结果。

    Apr, 2022

  • 自我演化神经辐射场

    提出了一种名为 SE-NeRF 的自我进化神经辐射场框架，通过在教师 - 学生框架中将 few-shot NeRF 转化为，将由教师生成的附加伪标签训练学生，通过使用可靠性估计方法提取射线级伪标签，使得 NeRF 能够学习更准确、更强健的三维场景几何，并展示与评估了将该自我训练框架应用于现有模型时改进了渲染图像的质量并在多种环境中实现了最先进的性能。

    Dec, 2023

  • 重新 Nerfing: 通过新视角合成对神经辐射场施加几何约束

    通过 Re-Nerfing 方法，我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围，提高新视角的几何一致性，并通过新合成的图像实现结构和极线约束的优化，对 mip-NeRF 360 数据集进行的实验证明了 Re-Nerfing 的有效性。

    Dec, 2023

  • ASSR-NeRF: 在体素网格上实现任意尺度超分辨率以高质量重建辐射场

    提出了一种名为 Arbitrary-Scale Super-Resolution NeRF (ASSR-NeRF) 的新型框架，通过使用 VoxelGridSR 模型在优化的体积上直接进行 3D 超分辨率 (SR) 操作，从而实现超分辨率新视角合成 (SRNVS)。通过在多样化场景上进行训练，可以确保模型的泛化能力，在训练过程中，对于使用低分辨率视角的未见场景，可以直接应用 VoxelGridSR 来进一步优化体积，并实现多视角一致的超分辨率 (SR)。实验证明，所提出的方法在 SRNVS 上取得了显着的性能提升。

    Jun, 2024

  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • 深度监督下的 NeRF：更少的视角和更快的训练

    通过引入深度监督机制，结合 SFM（结构光运动）得到的 “自由” 深度监督信息，在学习 Radiance Fields 的过程中对射线的结束点进行分布的损失函数，并且证明这种监督方式简单有效，可以使得渲染图像更加精准，支持其它类型的深度监督。

    Jul, 2021

  • S-NeRF：街景的神经辐射场

    本文提出了一种新的街景神经辐射场模型（S-NeRF），它考虑了大规模背景场景和前景移动车辆的新视角合成，通过改进场景参数化函数和学习更好的神经表示来应对现有 NeRF 模型在街景合成中出现的问题，并使用嘈杂和稀疏的 LiDAR 点来提高训练的鲁棒性和减少深度奇异值出现的情况。我们的 S-NeRF 模型在各种大规模驾驶数据集上的实验证明了它优于现有最先进方法在街景合成中减少了 7％至 40％的均方误差，并在移动车辆渲染的 PSNR 方面获得了 45％的增益。

    Mar, 2023

  • 立体辐射场（SRF）：学习稀疏视角下的新颖场景综合

    本文提出了一种名为 Stereo Radiance Fields (SRF) 的新的神经视图合成方法，它从输入的立体图像编码中预测每个 3D 点的颜色和密度，且只需要较少的稀疏视图作为输入，可广泛适用于不同场景。实验表明，SRF 方法学习了结构而非过拟合，且 10-15 分钟的微调后比现有的场景特定模型具有更好的视觉效果。

    Apr, 2021