Jul, 2024

Drantal-NeRF：基于扩散的反锯齿神经辐射场恢复

HTML
PDF
TL;DR本文提出了一种基于扩散的反混叠方法(Drantal-NeRF)，通过将混叠伪影视为对干净真实图像的一种降质模型来从低级恢复的角度考虑了反混叠问题，利用扩散模型中的强大先验知识还原与次优低质量对应物相比具有高逼真度的反混叠图像，并通过特征包裹操作和VAE解码器的微调实现多视角恢复一致性和更好地适应特定场景的数据分布，该方法易于实现且对各种NeRF主干网络适用，在具有挑战性的大规模城市场景和无界360度场景上进行了广泛实验，取得了显著的定性和定量改进。
发现论文，激发创造
  • Mip-NeRF: 用于抗锯齿的多尺度神经辐射场表示

    使用连续值比特映射扩展NeRF,可以高效地渲染反锯齿锥体,提高了表现精细细节的能力,缩小了占用空间,降低了平均误差率

    Mar, 2021

  • 基于体素格优化的辐射场重建：超快收敛

    我们提出了一种超快速收敛的方法，通过从拍摄场景的一组图像中重建场景辐射场来最新的视点合成，该方法采用密度体素网格表示场景几何和 shallow network 表示复杂的视角相关的外观，同时采用了后激活插值和一些先验约束技术，从而使训练时间缩短到 15 分钟以内，并达到了前沿的质量水平。

    Nov, 2021

  • Mip-NeRF 360：无界防锯齿神经辐射场

    本研究提出了一种名为 mĩp-NeRF 360 的模型，通过应用非线性场景参数化、在线蒸馏和一种新的基于畸变的正则化器，克服了 3D 场景中存在的挑战，在高度复杂的未限定真实世界场景中减少了均方误差 57％，能够提供逼真的合成视图和详细的深度图。

    Nov, 2021

  • DiffRF: 基于渲染引导的 3D 辐射场扩散

    DiffRF是一种针对三维辐射场合成的新方法，利用去噪扩散概率模型生成体积辐射场。通过将去噪公式与渲染损失配对，我们的模型可以学习偏态先验，使其倾向于良好的图像质量而不是试图复制浮动伪像等拟合误差。与3D GAN相比，我们的扩散方法自然地实现了条件生成，例如掩蔽完成或推理时的单视图3D合成。

    Dec, 2022

  • Zip-NeRF:基于格点的反锯齿神经辐射场

    使用渲染和信号处理中的思想，将 mip-NeRF 360 和基于网格的模型相结合，使误差比之前的技术低8%-76%，并且训练速度比 mip-NeRF 360 快22倍。

    Apr, 2023

  • Nerfbusters: 从非正式捕获的NeRFs中消除幽灵伪影

    该研究提出了一种新的数据集和评估程序，利用3D扩散方法和基于密度的分数蒸馏采样损失来避免NeRF优化过程中的呈现伪像和错误几何图形问题。使用这种数据驱动的先验方法可以去除浮动物并改善场景几何结构。

    Apr, 2023

  • BeyondPixels：神经辐射场演变的综合综述

    本文综述了近年来神经辐射场（NeRF）技术在3D渲染和视角合成领域的最新研究进展和其不同的架构设计。

    Jun, 2023

  • 高效射线采样用于辐射场重建

    通过改进射线采样方法，在保持真实感渲染结果的同时提高了神经辐射场训练的效率，加快了神经网络的收敛速度并更准确地感知场景的空间几何结构。

    Aug, 2023

  • 重新 Nerfing: 通过新视角合成对神经辐射场施加几何约束

    通过 Re-Nerfing 方法，我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围，提高新视角的几何一致性，并通过新合成的图像实现结构和极线约束的优化，对 mip-NeRF 360 数据集进行的实验证明了 Re-Nerfing 的有效性。

    Dec, 2023

  • 神经辐射场修复的潜在扩散模型驯服

    我们提出了一种新的框架，通过对扩散模型的温和性进行个性化设置并使用掩蔽对抗训练来缓解图像条件中的文本移位问题，从而解决了使用NeRF进行重建时遇到的几个问题，并在各种真实场景上实现了最先进的NeRF修复结果。

    Apr, 2024