减肥版 NeRF:语义一致的少样本视角合成
我们提出了一种名为 pixelNeRF 的学习框架,可以在仅有一张或几张输入图像的条件下预测连续的神经场景表示。与现有方法相比,我们的体系结构不需要每个场景都进行优化,从而使得在仅有一张图像的情况下就可以执行视角的合成和单幅图像的三维重建。经过大量的实验证明,我们的模型在形状、类别和实景等方面都优于现有的最先进技术。
Dec, 2020
ManifoldNeRF 是继 DietNeRF 后的一种新方法,通过使用来自相邻已知视点的插值特征对未知视点的特征向量进行监督,从而提供了更好的体积表示学习,实验证明该方法比其他方法在复杂场景中表现更好。
Oct, 2023
该论文提出了 ConsistentNeRF 方法,通过深度信息规范化像素之间的 3D 一致性,以提高 NeRF 在稀疏视图下的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中,与基线方法相比,该方法可以显著提高模型性能,如 PSNR 可提高 94%,SSIM 可提高 76%,LPIPS 可提高 31%。
May, 2023
通过引入深度监督机制,结合 SFM(结构光运动)得到的 “自由” 深度监督信息,在学习 Radiance Fields 的过程中对射线的结束点进行分布的损失函数,并且证明这种监督方式简单有效,可以使得渲染图像更加精准,支持其它类型的深度监督。
Jul, 2021
本论文提出了单视角 NeRF 框架 (SinNeRF),通过引入半监督的学习过程,利用几何标签和语义标签指导训练过程,成功实现了仅通过单个视图将神经辐射场训练到现实场景,即使在不进行多视图数据集预训练的情况下,SinNeRF 可产生逼真的新视图综合结果。
Apr, 2022
本文提出一种新的框架来规范化在几个样本(few-shot)设置中的神经辐射场(NeRF),通过几何感知一致性正则化。该方法利用了未观察视角的渲染深度图来将稀疏的输入图像变形到未观察视角并将其作为伪地面实现 NeRF 的学习,从而在特征层面而非像素级重建损失上鼓励这种几何感知的一致性,实现 NeRF 在语义和结构层面上的规范化,同时允许建模视角依赖性辐射以考虑不同视角的颜色变化。同时,本文提出一种有效的方法来筛除错误变形的解,以及稳定训练优化的训练策略。我们展示了本文提出的模型与现有最先进的几个样本设置下的 NeRF 模型相比具有竞争优势。
Jan, 2023
CaesarNeRF 是一种端到端方法,利用场景级别的语义表示和像素级表示,推动 few-shot、通用的神经渲染,在不损失高质量细节的情况下促进全面理解;CaesarNeRF 明确地建模参考视图的姿态差异,结合场景级别的语义表示,提供一个校准的全面理解,通过序贯细化来捕捉不同的细节。经过广泛实验证明 CaesarNeRF 在各种不同数量的参考视图上都能提供最先进的性能,即使只有一个参考图像也能有效。
Nov, 2023
本文通过 RustNeRF 算法提出了一种实现在现实世界中高质量三维模型合成的方法,通过利用实际影像退化建模、隐式多视图引导等实现了对 NeRF 训练模型的改进。实验结果表明 RustNeRF 方法在面对实际影像退化时表现出更好的鲁棒性。
Jan, 2024
KeyNeRF 是一种在少样本情况下训练 NeRF 的简单而有效的方法,通过关注关键信息光线,首先通过一个视图选择算法在相机级别选择这样的光线,该算法在促进基线多样性的同时保证场景全面覆盖,然后通过基于局部图像熵的概率分布进行像素级的采样。我们的方法在与最先进的方法进行比较时表现出色,同时对现有的 NeRF 代码库的改动要求较小。
Dec, 2023
本文提出了一种叫做 NeRF 综合的新任务,利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场,我们提出了一种两阶段的方法来综合新场景,控制场景的照明效果采用阴影指导而不是分离场景,我们表明了我们的方法可以生成高质量的结果,对曲面上的新场景进行综合,增强了我们所提出的 NeRF 综合方法的实用性。
Jun, 2023