Dec, 2023

SERF：使用 Radiance Fields 进行细粒度交互式 3D 分割与编辑

PDF
TL;DR通过整合多视图算法和预训练的 2D 模型，我们介绍了一种新的基于细粒度交互的三维分割和编辑算法，称为 SERF。该方法利用神经网格表示法建立起准确和可交互的三维分割，从而实现包括交互式几何编辑和纹理绘制在内的一系列三维编辑操作，并在真实数据和合成数据上的广泛实验证实了我们方法在表示质量和编辑能力上的优越性。
3d-based interactive editingfine-grained 3d segmentationradiance fieldsneural mesh representationinteractive 3d editing
发现论文，激发创造
  • 辐射场的场景通用交互式分割

    该研究论文对于在光辐射场中进行交互式分割的现有方法进行了探讨，并提出了一种新的 SGISRF 方法，能够通过少量用户交互点击，对由光辐射场表示的新场景进行 3D 物体分割。该方法通过三种特别设计的技术来解决三个关键挑战，并在多个实验中证明了其有效性和适用性。

    Aug, 2023

  • Seal-3D: 神经辐射场的交互式像素级编辑

    通过提出一种新的交互式编辑方法和系统，名为 Seal-3D，可以实现对隐式表示的编辑，允许用户以像素级和自由的方式编辑 NeRF 模型，并即时预览编辑效果。

    Jul, 2023

  • SealD-NeRF: 动态场景的神经辐射场交互式像素级编辑

    本文介绍了 SealD-NeRF，它是 Seal-3D 的一个扩展，用于在动态环境中进行像素级编辑，特别针对 D-NeRF 网络。它通过将编辑操作映射到特定的时间框架，冻结负责动态场景表示的变形网络，并使用师生方法来集成更改，实现序列中的一致编辑。

    Feb, 2024

  • 几何感知的场场变换用于三维语义分割

    我们提出了一种新颖的方法，通过利用神经辐射场（NeRFs）从二维监督中进行三维语义分割，通过提取表面点云上的特征，实现了场景的紧凑表示，这种表示对于三维推理而言具有高效的采样并且适于少样本分割。我们的方法不依赖于场景参数化，可以适用于任何类型的 NeRF 场景。

    Oct, 2023

  • 可交互辐射场分割

    本文提出了 ISRF 方法，该方法可以与尝试从 RF 中分割复杂对象的先前分割方法相比，交互性地分割带有细微结构和外观的对象，并可用于新视图合成、多个场景中的对象分割等应用。

    Dec, 2022

  • FENeRF: 神经辐射场中的人脸编辑

    使用 FENeRF 三维图像生成器，为了在保持视觉一致性的同时生成本地可编辑的肖像图像，我们提出了一种方法。

    Nov, 2021

  • SINE: 基于语义驱动的基于图像的 NeRF 编辑与先验引导编辑场

    本文提出了一种新颖的语义驱动的 NeRF 编辑方法，用户只需使用一张图像，就能够对神经辐射场进行编辑，并以高保真度和多视角一致性准确地传达编辑后的新视图，该算法在实际和合成数据上的实验和编辑例子证明了其能以只有一张编辑过的图像产生逼真的 3D 编辑。

    Mar, 2023

  • 4D-Editor: 通过 4D 语义分割在动态神经辐射场中进行交互式物体级编辑

    本文介绍了 4D-Editor，一种基于用户画笔在单帧上编辑动态 NeRF 中多个对象的交互式语义驱动编辑框架，通过混合的语义特征场构建动态场景表示以保持时空一致性，并使用递归选择细化方法加强了动态 NeRF 中的分割准确性，此外，还开发了多视图重投影修复方法，用于填补编辑后由于不完整场景捕捉而产生的空洞，通过实验和真实世界的编辑示例表明，4D-Editor 可以实现真实感的动态 NeRF 编辑。

    Oct, 2023

  • 基于组合神经辐射场的语义三维感知人像合成与操作

    通过分割语义区域并利用神经辐射场学习各自的辐射场，最后合并成完整图像，CNeRF 方法可以实现细粒度的语义区域操作，同时维持高质量的 3D 一致合成。

    Feb, 2023

  • GRAF: 用于三维感知图像合成的生成辐射场

    本文提出了一种基于放射场的生成模型，该模型具有高保真度的可渲染三维一致模型，能够更准确地控制相机视点和物体姿态，并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。

    Jul, 2020