ECCVMar, 2022

Sem2NeRF：将单视图语义掩模转换为神经辐射场

PDF
TL;DR本文提出了一个名为 Sem2NeRF 的框架，实现了从单视角语义掩码到 3D 物体模型的转换任务，并采用区域感知学习策略对映射的精度进行改进，其在两个基准数据集上表现优于多个强基线模型。
image translationdeep generative modelsnerfsemantic-to-nerf translationregion-aware learning
发现论文，激发创造
  • GSNeRF: 增强的通用语义神经辐射场与 3D 场景理解

    使用多视图输入合成新视图图像，神经辐射场（NeRF）已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场（GSNeRF）的方法，该方法独特地将图像语义纳入合成过程中，从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成：语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入，提取语义和几何特征。在后者的指导下，利用得到的图像几何信息，进行图像和语义渲染，从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作，并进一步验证了我们的采样策略的有效性。

    Mar, 2024

  • 语义就够了：仅基于语义信息的 NeRF 重建

    优化 Semantic-NeRF 模型以实现仅有语义输出，并移除 RGB 输出成分，通过对比实验证明这种改动对于场景理解、目标检测和分割等任务的影响，提供了渲染场景的新方式并促进了进一步的研究和发展。

    Mar, 2024

  • 基于语义掩模和扩散模型的 NeRF 编辑

    本文提出了一种新颖的框架，可以利用扩散模型实现对神经场景中的 3D 内容进行编辑，此方法可以有效地改善 NeRF 的可编辑性、多样性和应用范围，验证结果表明在不同的文本提示下，该算法对 NeRF 中的 3D 目标具有改进的效果。

    Jun, 2023

  • SinNeRF：单图训练神经辐射场处理复杂场景

    本论文提出了单视角 NeRF 框架 (SinNeRF)，通过引入半监督的学习过程，利用几何标签和语义标签指导训练过程，成功实现了仅通过单个视图将神经辐射场训练到现实场景，即使在不进行多视图数据集预训练的情况下，SinNeRF 可产生逼真的新视图综合结果。

    Apr, 2022

  • 基于组合神经辐射场的语义三维感知人像合成与操作

    通过分割语义区域并利用神经辐射场学习各自的辐射场，最后合并成完整图像，CNeRF 方法可以实现细粒度的语义区域操作，同时维持高质量的 3D 一致合成。

    Feb, 2023

  • 几何感知的场场变换用于三维语义分割

    我们提出了一种新颖的方法，通过利用神经辐射场（NeRFs）从二维监督中进行三维语义分割，通过提取表面点云上的特征，实现了场景的紧凑表示，这种表示对于三维推理而言具有高效的采样并且适于少样本分割。我们的方法不依赖于场景参数化，可以适用于任何类型的 NeRF 场景。

    Oct, 2023

  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • DatasetNeRF：基于生成辐射场的高效三维感知数据工厂

    该论文介绍了 DatasetNeRF，一种新颖的方法，它能够生成无限数量、高质量的与 3D 一致的 2D 注释和 3D 点云分割，同时利用最少的 2D 人工标注。

    Nov, 2023

  • GenN2N: 生成 NeRF2NeRF 翻译

    我们提出了 GenN2N，这是一个用于各种 NeRF 翻译任务的统一框架，包括文本驱动的 NeRF 编辑、上色、超分辨率和修复等。与之前的方法不同，GenN2N 通过使用插拔式的图像到图像翻译器在 2D 领域进行编辑，并将 2D 的编辑转换为 3D 的 NeRF 空间来实现所有这些 NeRF 编辑任务。

    Apr, 2024

  • FDNeRF: 基于扩散模型的面部语义驱动重建、提示编辑和重照

    本文介绍了一种新的生成方法 FDNeRF，可以从单个图像重建高质量的 3D 面孔，并具有语义编辑和改变灯光等功能，相比现有的 2D 编辑方法，FDNeRF 取得了更加逼真的结果和前所未有的灵活性。

    Jun, 2023