ZeroRF:零预训练的快速稀疏视角 360° 重建
我们提出了一种名为 pixelNeRF 的学习框架,可以在仅有一张或几张输入图像的条件下预测连续的神经场景表示。与现有方法相比,我们的体系结构不需要每个场景都进行优化,从而使得在仅有一张图像的情况下就可以执行视角的合成和单幅图像的三维重建。经过大量的实验证明,我们的模型在形状、类别和实景等方面都优于现有的最先进技术。
Dec, 2020
我们提出了一种 NeRF 的零样本超分辨率训练框架,通过单场景内部学习指导 NeRF 模型合成高分辨率的新颖视角,而无需外部高分辨率训练数据。我们的方法采用两个阶段,首先通过内部学习在预训练的低分辨率粗糙 NeRF 上学习场景特定的退化映射,然后通过反向渲染使用映射函数优化超分辨率细致 NeRF,并通过推理阶段引入时间集成策略来补偿场景估计错误。通过在公共数据集上进行大量实验,我们定性和定量地验证了我们方法的有效性。
Dec, 2023
ZIGNeRF 是一种基于 Zero-shot GAN 反演和新颖的转换器进行图像生成的模型,其可以从单个输入图像生成多视图图像,分离对象与背景并实现 360 度旋转或深度和水平平移。
Jun, 2023
这篇论文提出了一种基于多视角几何约束、利用稀疏输入视角和深度一致性损失函数的方法: Sparse Pose Adjusting Radiance Field (SPARF),以在仅有少数宽基线输入图像的情况下 (尽低至 3 张),实现新视角合成,同时在多个具有挑战性的数据集上取得了新的最先进结果。
Nov, 2022
通过使用可靠的可见性先验计算,对 NeRF 模型进行训练和重构,实现了对场景的高质量视角转换,相较于传统的基于深度估计的约束方法有显著提升。
Apr, 2023
本论文提出了单视角 NeRF 框架 (SinNeRF),通过引入半监督的学习过程,利用几何标签和语义标签指导训练过程,成功实现了仅通过单个视图将神经辐射场训练到现实场景,即使在不进行多视图数据集预训练的情况下,SinNeRF 可产生逼真的新视图综合结果。
Apr, 2022
通过 Re-Nerfing 方法,我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围,提高新视角的几何一致性,并通过新合成的图像实现结构和极线约束的优化,对 mip-NeRF 360 数据集进行的实验证明了 Re-Nerfing 的有效性。
Dec, 2023
SfMNeRF 提出了一种基于神经辐射场的方法,结合自监督深度估计方法对样本进行重构,同时利用极线和光度一致性等约束构建 3D 场景几何图像,提高了神经辐射场的表现,实现了更好地合成新视角。
Apr, 2023