MRVM-NeRF:基于掩码的神经放射场预训练
VMRF is an innovative NeRF that can effectively train without requiring prior knowledge in camera poses or camera pose distributions through its view matching scheme and feature transport plan.
Jul, 2022
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化,以提高所估计表面的质量。实验结果表明,该方法可以从图像中获取干净的三维网格,同时在新视角合成方面具有竞争力的表现。
Oct, 2022
我们提出了一种基于补丁的方法,通过有效利用单眼表面法线和相对深度预测,在几何学和视图合成方面提供准确的 3D 模型,部分弥补了 NeRF 和传统 MVS 方法之间的几何性能差距,实验结果表明,在 ETH3D MVS 基准测试中,我们的方法在平均 F1@2cm 上提供了 RegNeRF 的 4 倍性能和 FreeNeRF 的 8 倍性能,为改善基于 NeRF 模型的几何精度以及促使 NeRF 模型最终超越传统 MVS 方法的优化提供了有价值的研究方向。
Apr, 2024
提出了一种名为 SE-NeRF 的自我进化神经辐射场框架,通过在教师 - 学生框架中将 few-shot NeRF 转化为,将由教师生成的附加伪标签训练学生,通过使用可靠性估计方法提取射线级伪标签,使得 NeRF 能够学习更准确、更强健的三维场景几何,并展示与评估了将该自我训练框架应用于现有模型时改进了渲染图像的质量并在多种环境中实现了最先进的性能。
Dec, 2023
神经场在计算机视觉和机器人技术中表现出色,能够理解三维视觉世界,例如推断语义、几何和动态。我们使用神经场进行自监督预训练,尤其是使用遮盖的自动编码器从 RGB 图像生成有效的三维表示,然后将标准的三维视觉 Transformer 应用于 NeRF 来进行特定形式的训练。我们利用 NeRF 的体积网格作为 Transformer 的密集输入,与像点云等其他三维表示进行对比。通过将相机轨迹用于采样,我们提取了可以规范化不同域中场景的显式表示。我们的目标是通过遮盖 NeRF 的辐射和密度网格的随机补丁并使用标准的三维 Swin Transformer 重建这些补丁,从而使模型能够学习完整场景的语义和空间结构。我们在自己提出的 posed-RGB 数据上规模化地对这个表示进行预训练,总共涉及超过 160 万幅图像。预训练后,编码器可以用于有效的三维迁移学习。我们提出的 NeRF-MAE 自监督预训练方法在各种具有挑战性的三维任务上表现出色,利用未标记的 posed 2D 数据进行预训练,相较于自监督三维预训练和 NeRF 场景理解基线,在 Front3D 和 ScanNet 数据集上的三维物体检测的 AP50 和 AP25 绝对性能提升分别超过 20%和 8%。
Apr, 2024
本文介绍了 MultiPlaneNeRF 模型,该模型可从 2D 图像中直接产生非可训练的表示,并可通过大量数据的训练来实现推广,以及在生成新视角方面达到业界领先水平。
May, 2023
通过引入深度监督机制,结合 SFM(结构光运动)得到的 “自由” 深度监督信息,在学习 Radiance Fields 的过程中对射线的结束点进行分布的损失函数,并且证明这种监督方式简单有效,可以使得渲染图像更加精准,支持其它类型的深度监督。
Jul, 2021
SfMNeRF 提出了一种基于神经辐射场的方法,结合自监督深度估计方法对样本进行重构,同时利用极线和光度一致性等约束构建 3D 场景几何图像,提高了神经辐射场的表现,实现了更好地合成新视角。
Apr, 2023
提出了 MVSNeRF,这是一种新颖的神经渲染方法,可以通过快速网络推理从仅三个附近输入视图重建辐射场,利用平面扫描代价体进行几何感知场景推理,并将其与基于物理的体积渲染相结合,能够横跨场景(甚至是室内场景)泛化,并仅使用三个输入图像生成逼真的视图合成结果,比类似工作在可推广的辐射场重建方面表现显著优越。
Mar, 2021
提出了一种基于神经辐射场和几何引导注意力机制的方法来合成高保真度的自由视点图像,并通过实验证明其具有更好的合成效果和几何重建精度。
Mar, 2023