DM-NeRF:从2D图像中分解和操作3D场景几何形状
本文提出了一种名为3D-SDN的深度生成模型,该模型可以生成可解释的、富有表现力的、分离的场景表示,能够支持3D感知场景操作,并证明该模型比其2D版本表现更优秀。
Aug, 2018
本文提出了 D-NeRF 方法,将神经辐射场扩展到动态领域,允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入,并将学习过程分为两个主要阶段,可以同时学习两个映射,实现控制相机视图和时间变量以及物体移动的目的。
Nov, 2020
ObSuRF为将场景单张图像转化为一组Neural Radiance Fields (NeRFs)三维模型的方法,可用于多视角的CLEVR以及将场景 populate 为ShapeNet模型的数据集中,在不需要监督的情况下实现了对场景中的物体进行分割,并且在三个二维图像分割基准测试中表现出与现有技术相同或更好的效果。
Apr, 2021
本研究使用神经辐射场(NeRF)从输入图像集合中学习高质量的三维物体类别模型,通过2组件NeRF模型,FiG-NeRF,实现场景的几何恒定背景和可变形前景的分离,从而仅使用光度监督和随意捕捉的物体图像即可学习准确的三维物体类别模型,并且可以进行精确清晰的无模分割和视图合成,并使用综合测量方法对方法进行定量评估。
Apr, 2021
本文提出通过蒸馏出自监督的2D图像特征提取器的知识,优化一种针对NeRF的3D特征场,从而实现语义场景分解以及针对局部区域的查询式编辑,从而实现结构编辑的目的。通过实验证明,3D特征场可以将最近在2D视觉和语言基础模型中取得的进展应用于3D场景表示,从而实现令人信服的3D分割和选择性编辑。
May, 2022
本论文提出了SceneRF方法,采用自监督单目场景重建方法,只用图像序列进行训练,优化辐射场,生成新的深度视图,并成功应用于室内BundleFusion和室外SemanticKITTI的场景重建中,超越了最近的基线
Dec, 2022
本文提出了一种名为OR-NeRF的新型对象移除流水线,它可以在单个视图上通过点或文本提示从3D场景中移除对象,并在更短的时间内实现更好的性能。
May, 2023
本研究提出了Obj-NeRF,一种综合管道,通过使用一个单一的提示从多视图图像中恢复特定对象的3D几何形状。该方法结合了Segment Anything Model(SAM)的2D分割能力和NeRF的3D重建能力,并应用了几种有效技术。此外,研究还构建了一个包含多样化对象的大规模对象级NeRF数据集,可在各种下游任务中发挥作用。为了证明我们的方法的实用性,我们还将Obj-NeRF应用于包括对象去除、旋转、替换和重新上色在内的各种应用。
Nov, 2023
我们提出了一种基于NeRF的编辑任务方法,通过隐式光线变换策略和不可区分的神经点重采样(DNR)模块来解决物体移动和填补空白区域的挑战,构建了一个点云可编辑的NeRF系统PR^2T-NeRF,实验结果表明我们的系统在物体移动和填补任务中具有最先进的性能,并且能够提供高质量渲染可视化效果。
May, 2024
提出一种基于单个非刚性变换版本的观察自动修改 NeRF 表示的方法,并通过加权线性融合定义变换为 3D 流,使用对表面上定义的 3D 锚点的刚体变换进行融合。引入了一种新的对应算法,首先匹配基于 RGB 的配对,然后利用多视角信息和 3D 重投影来强大地过滤误报,通过单个观察深入研究了 NeRF 场景修改问题,并展示了优于 NeRF 编辑方法和基于扩散的方法的性能,并探索了不同的对应过滤方法。
Jun, 2024