本文提出了一种利用深度先验来优化神经光辐射场模型的新方法,可在使用尽可能少的输入图像进行室内场景的数据有效的新视角合成中实现高保真度。
Dec, 2021
该论文提出了一种新的 NeRF 方法,具有可推广性,能够利用极少的两个来源视图直接推广到新的看不见的场景并进行新的视图合成。该方法的关键在于显式建模的对应匹配信息,以在 NeRF 颜色和密度的预测之前提供几何先验,从而实现体渲染。该方法通过 Transformer 交叉关注模型跨视图的交互作用来建模,大大提高了特征匹配的质量,并实现了在不同评估设置中的最新成果。实验表明了该方法学习到的余弦特征相似性和体密度之间的强相关性,证明了该方法的有效性和优越性。
Apr, 2023
通过使用可靠的可见性先验计算,对 NeRF 模型进行训练和重构,实现了对场景的高质量视角转换,相较于传统的基于深度估计的约束方法有显著提升。
使用增强模型和深度监督训练的前馈神经光辐射场模型能在少量视角下实现最新的视图合成表现。
Sep, 2023
该论文提出了 ConsistentNeRF 方法,通过深度信息规范化像素之间的 3D 一致性,以提高 NeRF 在稀疏视图下的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中,与基线方法相比,该方法可以显著提高模型性能,如 PSNR 可提高 94%,SSIM 可提高 76%,LPIPS 可提高 31%。
May, 2023
使用少量照片重建现实场景的方法,通过在合成和多视图数据集上训练的扩散先验来对新视角的合成进行规范化,从而在超约束区域综合出逼真的几何和纹理,同时保持观察区域的外观。与以前的少视图 NeRF 重建方法相比,我们在各种真实世界数据集上进行了广泛评估,包括正向和 360 度场景,并展示了显著的性能改进。
Dec, 2023
提出一种名为 D"aRF 的新框架,通过在线互补训练将 monocular depth estimation (MDE)网络的强大几何学优势与 Neural radiance fields(NeRF)表示相结合,通过缓解单眼深度的歧义问题来提高其鲁棒性和一致性,在少量真实世界图像情况下实现了强大的 3D 重建和新视角综合,成功解决了现有方法在不同类型场景或数据集上的局限性。
通过合作的神经辐射场的输出和合作的稀疏输入图像,我们介绍了一种新型模型:协作神经辐射场(ColNeRF),用于工作在稀疏输入情况下,以构建富有表现力和更广义的场景表示,为新视图合成提供更高质量的结果。
本文提出采用扩散模型生成编码在规则网格上的神经辐射场,并展示了该模型在实现逼真 NeRFs 的同时,能够根据观察结果进行条件生成。
本文提出一种新的框架来规范化在几个样本(few-shot)设置中的神经辐射场(NeRF),通过几何感知一致性正则化。该方法利用了未观察视角的渲染深度图来将稀疏的输入图像变形到未观察视角并将其作为伪地面实现 NeRF 的学习,从而在特征层面而非像素级重建损失上鼓励这种几何感知的一致性,实现 NeRF 在语义和结构层面上的规范化,同时允许建模视角依赖性辐射以考虑不同视角的颜色变化。同时,本文提出一种有效的方法来筛除错误变形的解,以及稳定训练优化的训练策略。我们展示了本文提出的模型与现有最先进的几个样本设置下的 NeRF 模型相比具有竞争优势。
Jan, 2023