CVPRApr, 2021

通过 GAN 反推进行无监督的三维形状补全

PDF
TL;DR本研究提出了一种新的 3D 形状自动完成方法 ShapeInversion，它采用了生成性对抗网络（GAN）和无监督学习方法，无需配对数据，可实现对模型的形状操纵和插值。在测试中，该方法在特定于域的测试数据上表现出色，同时表现出对现实世界下不同形式和不完整程度的偏见现象具有鲁棒性。
3d shape completiongenerative adversarial network (gan)unsupervised learningshape manipulationshape interpolation
发现论文，激发创造
  • 多模态形状补全的条件生成对抗网络

    这篇论文提出了一种用多模式条件生成模型进行多维形状补全的方法，能够消除单一输出方法存在的不确定性以获得更多的结果。通过多个数据集的实验，证明了该方法的多样性和质量。

    Mar, 2020

  • GAN 反演实现的单目 3D 物体重建

    通过利用预先训练的 3D GAN 生成先验来改善重建结果，本文提出了一种名为 MeshInversion 的新型框架，它在单视角观察下通过搜索最相似目标网格的 3D GAN 的潜在空间来实现重建，从而在 3D 空间中直接应用正则化，提供了未观测的网格部位的关键指导，实现了出色的 3D 重建。

    Jul, 2022

  • PointInverter: 利用具有形状先验知识的生成模型进行点云重建和编辑

    本文提出了一种新的方法，将三维点云映射到三维生成对抗网络的潜在空间。我们的生成模型基于 SP-GAN，它是一种最先进的球引导三维点云生成器。我们提出了一种有效的编码方式，可将输入的三维点云编码到 SP-GAN 的潜在空间中。我们的对点云编码器可以解决反演过程中的点排序问题，从而确定生成的三维点云中的点与生成器使用的规范球中的点之间的对应关系。我们展示了我们的方法在三维点云的 GAN 反演上优于以前的方法，定量和定性地获得了最先进的结果。我们的代码可在此 https URL 上获得。

    Nov, 2022

  • JoIN: 联合 GAN 逆向用于固有图像分解

    该研究提出使用 GAN 作为先验来解决不适定的反演成像问题，并将方法应用于面部和材料的固有图像分解。该方法建立在 GAN 成功捕捉复杂图像分布的基础上，并展示了通过逆转多个 GAN 来维持分布先前的可能性，其是模块化的，可以成功地分解合成和真实图像，并利用 GAN 潜在空间的属性，提供了额外的优势，如图像重照。

    May, 2023

  • 针对忠实重建和可编辑性的领域内 GAN 逆转

    通过在原始潜在空间中规范反转代码，本研究提出了领域指导编码器和领域正则化优化器，以满足对图像编辑应用的需求，实现了广泛的编辑功能。

    Sep, 2023

  • GAN 反演的多样修复和编辑

    利用样式生成对抗网络（StyleGAN）的潜在空间，将真实图像反转并通过语义丰富的特征表示进行多项编辑，进一步扩展到将被擦除的图像反转到 GAN 的潜在空间中进行逼真修复和编辑的更为困难的任务，通过将反转的潜在编码与随机样本的 StyleGAN 映射特征组合，通过训练编码器和混合网络，利用生成的数据来鼓励混合网络同时利用两个输入，并利用高速特征来防止修复部分与未被擦除部分的颜色不一致，并通过与先进的反转和修复方法进行实验和对比，定量指标和视觉比较显示出显著的改进。

    Jul, 2023

  • InvertAvatar：用于广义头像的增量 GAN 反演

    提出了一种新颖的框架，增量 3D GAN 逆转，通过增加逆转质量随帧数增加来提高数字头像重建性能，引入了一个带有两个关键修改的唯一可动画的 3D GAN 先验，以及一种基于 UV 参数化对纹理特征空间进行分类的创新神经纹理编码器。

    Dec, 2023

  • GAN 反向传播：一项调查

    本文综述了 GAN 反演技术及其最近的算法和应用，尤其是其在图像编辑和修复方面的应用，探讨了 GAN 潜在空间的解释和现实图像生成的趋势和挑战。

    Jan, 2021

  • 基于伪多视角优化的高保真三维 GAN 反演

    提出了一种高保真的三维对抗生成网络，可以在保留输入图像的特定细节的同时合成逼真的新视图。该方法通过伪多视图估计和能见度分析建立，有效解决了三维反演中的几何纹理平衡问题，并成功实现了单张图像的高保真三维重建和新视图合成。并且本方法亦适用于图像属性编辑和 3D 纹理修改，因此有望被广泛应用于人工智能生成的三维内容领域。

    Nov, 2022

  • 通过风格调制的生成对抗网络实现多样化的形状补全

    通过引入多样性惩罚和多尺度鉴别器，我们提出了一种新颖的条件生成对抗网络，可以从部分观察到的点云中生成多种多样的合理完整形状，这一方法在尊重部分观测的同时获得了更大的完成多样性。

    Nov, 2023