May, 2022

通过特征场蒸馏分解 NeRF 以进行编辑

PDF
TL;DR本文提出通过蒸馏出自监督的 2D 图像特征提取器的知识，优化一种针对 NeRF 的 3D 特征场，从而实现语义场景分解以及针对局部区域的查询式编辑，从而实现结构编辑的目的。通过实验证明，3D 特征场可以将最近在 2D 视觉和语言基础模型中取得的进展应用于 3D 场景表示，从而实现令人信服的 3D 分割和选择性编辑。
neural radiance fields3d reconstructionnovel view synthesissemantic scene decomposition3d feature fields
发现论文，激发创造
  • 可编辑的小说视角合成的统一分解和组合 NeRF 学习

    本论文提出了一个统一的神经辐射场（NeRF）框架，以有效地进行场景分解和合成，用于建模现实世界场景，通过学习不同对象的解耦 3D 表示进行场景编辑，同时为新颖视角合成建模整个场景表示。

    Aug, 2023

  • M^2DNeRF：带有 3D 特征域的多模态分解 NeRF

    多模态分解 NeRF（${M^2D}$NeRF）是一种能够进行文本和视觉补丁编辑的单一模型，通过使用多模态特征蒸馏来整合来自预训练视觉和语言模型的教师特征到三维语义特征体积，从而促进一致的三维编辑。实验证明，在三维场景分解任务中，相较于以前的基于 NeRF 的方法具有更优异的性能。

    May, 2024

  • DistillNeRF：通过蒸馏神经场和基础模型特征从一瞥图像中感知 3D 场景

    DistillNeRF 是一个自监督学习框架，专注于理解自动驾驶中基于有限 2D 观测的 3D 环境。该方法通过稀疏的、单帧的多视角相机输入，预测丰富的神经场景表示，并通过可微分渲染进行自监督训练以重构 RGB、深度或特征图像。实验证明，DistillNeRF 在场景重建、新视角合成、深度估计和 3D 语义占用预测等方面明显优于现有自监督方法。

    Jun, 2024

  • DM-NeRF：从 2D 图像中分解和操作 3D 场景几何形状

    本研究利用迄今为止最新的神经辐射场技术，通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码，并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状，进而解决物体碰撞和视觉遮挡等关键问题，能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。

    Aug, 2022

  • 神经特征融合场：自监督二维图像表征的三维蒸馏

    使用神经特征融合场（N3F）方法，将预训练的 2D 图像特征提取器引入到对可重建为 3D 场景的多个图像的分析中，以学习在 3D 空间中定义的用于提取特征的学生网络，证明在各种任务中， including 2D 对象检索、3D 分割和场景编辑，N3F 不仅在特定场景神经场上实现了语义理解而且一贯优于自监督 2D 基线。

    Sep, 2022

  • 通过 CLIP 知识的三维蒸馏进行本地三维编辑

    本文提出了一种名为 Local Editing NeRF（LENeRF）的方法，可以通过文本输入进行精细和本地化的 3D 内容操作，其中利用了三种 add-on 模块：潜在残差映射器、注意场网络和变形网络，通过估算 3D 注意场来实现 3D 特征的局部操作。

    Jun, 2023

  • 学习神经双工辐射场进行实时视图合成

    本篇论文提出了一种新的方法，通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示，使用屏幕空间卷积，来提高外观的质量和整个框架的表现。

    Apr, 2023

  • 使用 2D 扩散模型对 3D 神经辐射场进行编辑的 Edit-DiffNeRF

    本文提出了一种名为 Edit-DiffNeRF 的框架，通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令，从而实现对 3D 场景的微调，同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。

    Jun, 2023

  • DATENeRF: 基于深度的文本编辑技术

    利用拓展到神经辐射场（NeRF）的编辑技术来编辑场景是复杂的，本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法，并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明，该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。

    Apr, 2024

  • NeRFCodec：神经特征压缩与神经辐射场相结合的高效内存场景表示

    通过使用非线性转换、量化和熵编码实现记忆高效的场景表示，我们提出了 NeRFCodec ，这是一个端到端的 NeRF 压缩框架，它利用预训练的神经 2D 图像编解码器对特征进行压缩，从而使得我们能在 0.5 MB 的内存预算下实现高质量的新视角合成。

    Apr, 2024