CVPRMar, 2023

基于 NeRF 的三维多类图像到图像翻译

PDF
TL;DR本文介绍了一种将 3D 意识 GAN（3D-aware GANs）与神经辐射场结合的新方法，用于进行 3D 一致的多类别图像转换，建议使用包括新的条件架构和有效培训策略等几种技术，并在两个数据集上进行了广泛的实验，定量和定性结果表明，我们成功地执行了多视角一致的 3D-aware I2I 转换方法。
发现论文，激发创造
  • 通过学习结构和纹理表示进行 3D 感知图像合成

    通过学习结构特征和纹理特征，我们提出了一种新的 VolumeGAN 框架，它能够更好地生成高保真度的 3D 感知图像，并且具有独立控制形状和外观的能力。

    Dec, 2021

  • DeepI2I：通过 GAN 传递实现深层次图像到图像的翻译

    DeepI2I 为一种新的基于深度学习和层级特征的图像翻译方法，采用转移学习技术和适配器网络解决了高分辨率瓶颈和对小数据集性能较差的问题，在三个数据集上的实验结果表明可以显著提高多类别图像翻译的性能。

    Nov, 2020

  • GenN2N: 生成 NeRF2NeRF 翻译

    我们提出了 GenN2N，这是一个用于各种 NeRF 翻译任务的统一框架，包括文本驱动的 NeRF 编辑、上色、超分辨率和修复等。与之前的方法不同，GenN2N 通过使用插拔式的图像到图像翻译器在 2D 领域进行编辑，并将 2D 的编辑转换为 3D 的 NeRF 空间来实现所有这些 NeRF 编辑任务。

    Apr, 2024

  • Pix2NeRF: 单图像生成神经辐射场的无监督有条件 π-GAN

    本文提出了一种基于神经辐射场的管线，能够生成特定类别物件或场景的 NeRF， 并能够利用自动编码器构建无监督的 3D 感知图像合成模型，特别是能够基于单张图像进行物体视角的生成。

    Feb, 2022

  • ContraNeRF: 通过对比学习和无监督隐式姿态嵌入的三维感知生成模型

    本文提出了一种使用对比学习和隐式姿态嵌入的 3D 感知生成对抗网络优化技术。通过重新设计鉴别器，从而消除对基准相机姿态的依赖性，使其更好地捕捉给定图像的隐式姿态嵌入，并在姿态嵌入上进行对比学习，实验结果表明在多个物体类别和不一致的基准相机姿态数据集上显著优于现有方法。

    Apr, 2023

  • 基于预训练 StyleGAN2 网络的无监督图像到图像的翻译

    通过在预训练的 StyleGAN2 模型上进行一系列的模型变换，我们提出了一种新的图像到图像 (I2I) 转换方法，并提出了一种反演方法，以在源领域和目标领域之间进行 I2I 翻译。定性和定量评估证明了该方法在图像质量、多样性和与输入和参考图像的语义相似性方面具有优越性能，与最先进的作品相比。

    Oct, 2020

  • Sem2NeRF：将单视图语义掩模转换为神经辐射场

    本文提出了一个名为 Sem2NeRF 的框架，实现了从单视角语义掩码到 3D 物体模型的转换任务，并采用区域感知学习策略对映射的精度进行改进，其在两个基准数据集上表现优于多个强基线模型。

    Mar, 2022

  • NeRDi: 基于语言引导扩散的单视角 NeRF 综合技术作为通用图像先验

    提出 NeRDi—— 一种基于 2D 扩散模型通用图像先验的单视角 NeRF 综合框架，借助自然语言模型引导扩散模型进行图像合成，结合估算的深度图的几何约束，优化重建的 NeRF 表示，进而实现高质量的全景图像生成。

    Dec, 2022

  • 类连续条件生成神经辐射场

    提出了一种新颖的模型 C^3G-NeRF，可以合成具有条件操纵的照片逼真，三维一致图像，在三个图像数据集上进行评估，并表现出强大的三维一致性和平滑的插值。

    Jan, 2023

  • 人体综合的三维感知语义引导生成模型

    提出了一种基于 3D-SGAN 的语义指导生成模型，利用生成神经辐射场（GNeRF）提取人体的隐式 3D 表示，并用纹理生成器将语义掩码转换为真实图像，为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像。在 DeepFashion 数据集上，比最新的基准表现显著优秀。

    Dec, 2021