SGCNeRF: 通过稀疏几何一致性指导的少样本神经渲染
本文提出一种新的框架来规范化在几个样本(few-shot)设置中的神经辐射场(NeRF),通过几何感知一致性正则化。该方法利用了未观察视角的渲染深度图来将稀疏的输入图像变形到未观察视角并将其作为伪地面实现 NeRF 的学习,从而在特征层面而非像素级重建损失上鼓励这种几何感知的一致性,实现 NeRF 在语义和结构层面上的规范化,同时允许建模视角依赖性辐射以考虑不同视角的颜色变化。同时,本文提出一种有效的方法来筛除错误变形的解,以及稳定训练优化的训练策略。我们展示了本文提出的模型与现有最先进的几个样本设置下的 NeRF 模型相比具有竞争优势。
Jan, 2023
我们通过正则化几何和外观来解决 NeRF 在输入视图位数较少时的性能下降问题,同时在训练期间通过退火光线采样间隔和使用正则化流模型来处理未观察到视点的颜色,从而得到了一种可超过其他方法的模型。
Dec, 2021
该论文提出了 ConsistentNeRF 方法,通过深度信息规范化像素之间的 3D 一致性,以提高 NeRF 在稀疏视图下的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中,与基线方法相比,该方法可以显著提高模型性能,如 PSNR 可提高 94%,SSIM 可提高 76%,LPIPS 可提高 31%。
May, 2023
引入了 Hierarchical Geometric, Semantic, and Photometric Guided NeRF (HG3-NeRF),通过 Hierarchical Geometric Guidance (HGG) 和 Hierarchical Semantic Guidance (HSG) 提高极不完整观测下的几何、语义内容和外观的一致性,并在不同标准基准上胜过其他最先进的方法,获得高保真度的合成结果。
Jan, 2024
通过引入深度监督机制,结合 SFM(结构光运动)得到的 “自由” 深度监督信息,在学习 Radiance Fields 的过程中对射线的结束点进行分布的损失函数,并且证明这种监督方式简单有效,可以使得渲染图像更加精准,支持其它类型的深度监督。
Jul, 2021
在本文中,我们提出了 CombiNeRF,一个将多种正则化技术综合起来的框架,以统一各种正则化技术的优势,并在几个公开数据集上展示了在少样本情况下超越最先进方法的性能。
Mar, 2024
提出了一种名为 SE-NeRF 的自我进化神经辐射场框架,通过在教师 - 学生框架中将 few-shot NeRF 转化为,将由教师生成的附加伪标签训练学生,通过使用可靠性估计方法提取射线级伪标签,使得 NeRF 能够学习更准确、更强健的三维场景几何,并展示与评估了将该自我训练框架应用于现有模型时改进了渲染图像的质量并在多种环境中实现了最先进的性能。
Dec, 2023