超平面:用于快速 NeRF 自适应的超网络方法
本文提出了 D-NeRF 方法,将神经辐射场扩展到动态领域,允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入,并将学习过程分为两个主要阶段,可以同时学习两个映射,实现控制相机视图和时间变量以及物体移动的目的。
Nov, 2020
该研究提出了NeRFReN,它是基于NeRF的,能够建模带有反射的场景,并将场景分为透射和反射组件,用单独的神经辐射场来建模两个组件,以实现高质量的新视图综合和深度估计结果。
Nov, 2021
本研究提出了一种名为Aug-NeRF的增强型神经辐射场模型,它利用鲁棒的数据增强技术来加强NeRF的训练,从而提高其在新视角合成和几何重建方面的表现,并且可以从严重受损的图像中恢复场景。
Jul, 2022
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化,以提高所估计表面的质量。实验结果表明,该方法可以从图像中获取干净的三维网格,同时在新视角合成方面具有竞争力的表现。
Oct, 2022
本文提出了一种使用超网络来学习可推广类别级神经辐射场先验的隐式编码方法,称为 HyP-NeRF。 HyP-NeRF 不仅可以显着提高质量,而且还可以在多个下游任务中使用。
Jun, 2023
使用多个插拔式HyperNet模块,InsertNeRF方法将NeRF权重动态调整为特定参考场景,从而实现对复杂外观和几何结构更准确高效地表示,同时提供与其他类似于NeRF的系统的灵活集成路径。
Aug, 2023
我们介绍了HyperFields,一种能够在单次前向传递和(可选地)某些微调中生成以文本为条件的神经辐射场(NeRFs)的方法。我们方法的关键在于:(i)动态超网络,能够将文本标记嵌入与NeRFs空间之间的映射平滑化学习;(ii)NeRF蒸馏训练,将编码在各个NeRFs中的场景蒸馏成一个动态超网络。这些技术使得单个网络可以适应超过一百个独特场景。我们进一步证明HyperFields学习了文本和NeRFs之间更通用的映射,因此能够预测新的分布内和分布外场景——零样本或经过少量微调步骤。基于学习到的通用映射,对HyperFields进行微调能够加速收敛,并且能够比现有的基于神经优化的方法更快地合成新场景(速度提高了5到10倍)。我们的消融实验表明,动态架构和 NeRF蒸馏对于HyperFields的表达能力至关重要。
Oct, 2023
通过 Re-Nerfing 方法,我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围,提高新视角的几何一致性,并通过新合成的图像实现结构和极线约束的优化,对 mip-NeRF 360 数据集进行的实验证明了 Re-Nerfing 的有效性。
Dec, 2023
我们开发了第一个用于NeRF更新的方法,可通过只提供少量新的图像来更新预训练的NeRF,以便适应物理变化,而无需耗时的数据重新捕获和重新训练。我们使用辅助的第二个NeRF来学习场景的局部几何和外观变化,用于准确重建稀疏视角下未遮挡物体区域。该方法比从头开始重新训练NeRF快一个数量级,并且具有相当甚至更好的性能。
Mar, 2024