Feb, 2024

CTGAN：3D 形状的语义引导条件纹理生成器

PDF
TL;DR本研究提出了基于语义指导的条件纹理生成器（CTGAN），用于生成具有与视角一致且尊重形状语义的高质量 3D 纹理，通过精细操作潜在编码实现对生成纹理的风格和结构的显式控制，并通过输入分割进一步增强对纹理结构的控制，实验证明 CTGAN 在多个质量评估指标上优于现有的方法，并在有条件和无条件场景下实现了最先进的纹理生成性能。
3d visual contentgenerative networkshigh-fidelity texturessemantic-guided conditional texture generatortexture generation
发现论文，激发创造
  • 用户指定内容的条件图像生成与操作

    提出了一种单一的文本到图像生成和操纵的流程，其中在我们的流程的第一部分，介绍了 TextStyleGAN 这个在文本上进行训练的模型；第二部分使用预训练的 TextStyleGAN 权重进行语义面部图像操纵，并通过在潜空间中找到语义方向来完成。我们展示了该方法可以用于广泛的面部图像属性操纵，并介绍了 CelebTD-HQ 数据集作为 CelebA-HQ 的扩展，其中包含了人脸及相应的文本描述。

    May, 2020

  • 纹理三维网格卷积生成

    本文提出使用不同 iable rendering 技术生成三角网格和相关高分辨率纹理贴图的框架，以单视角自然图像为 2D 监督，并将网格和纹理编码为 2D 表示，以便使用 2D 卷积 GAN 进行建模，并在 Pascal3D + Cars 和 CUB 上展示了方法的有效性及其评估方法。

    Jun, 2020

  • 纹理匹配 GAN 用于 CT 图像增强

    我们提出了一种纹理匹配生成对抗网络 (TMGAN)，它在增强 CT 图像的同时生成可以与目标纹理匹配的图像纹理，从而改善了图像质量并适用于临床应用。

    Dec, 2023

  • 空间生成对抗网络纹理合成

    本文介绍了一种基于生成对抗网络的新型纹理合成模型，即空间 GAN（SGAN），其通过将输入噪声分布空间从单一向量延展至整个空间张量，实现了高品质、高可扩展性和快速实时正向生成等特点，并能够将多个不同类别的源图像融合到复杂的纹理中。同时，本文还讨论了该方法的一些局限性，并将其与其他神经纹理生成技术进行了比较。

    Nov, 2016

  • 多模态条件下的三维感知图像生成和编辑

    本文提出了一种新颖的端到端 3D 感知图像生成和编辑模型，通过纯噪声、文本和参考图像等多种条件输入，在 3D 生成对抗网络（GANs）的潜在空间中深入研究并提出解缠特性较好的生成策略，同时采用统一框架进行灵活的图像生成和编辑任务，实现多模态条件下的多样图像生成、属性编辑和风格迁移。广泛实验证明，该方法在图像生成和编辑方面在质量和数量上均优于替代方法。

    Mar, 2024

  • SeCGAN：基于语义一致性的平行条件生成式对抗网络用于人脸编辑

    通过提出一种语义信息导向的生成对抗网络 SeCGAN，可无需指定目标语义掩码的情况下，利用语义信息进行人脸图像编辑，从而在保持质量指标的前提下，在 CelebA 和 CelebA-HQ 上生成具有更准确属性的面部图像，优于竞争基线项。

    Nov, 2021

  • SofGAN：一种具有动态风格的肖像图像生成器

    提出了一种 SofGAN 图像生成器来将肖像的潜在空间分解为几何空间和纹理空间，在经过一系列实验后，展示了该系统可以生成具有对几何和纹理属性具有独立可控性的高质量肖像图像。

    Jul, 2020

  • SemanticStyleGAN：学习组合生成先验进行可控图像合成和编辑

    通过训练一个生成器来分别对局部语义部分进行建模，控制不同区域的纹理并且实现更加细粒度的合成和编辑，SemanticStyleGAN 作为具有内置解缠结的通用先验模型，可以促进基于 GAN 的应用程序的发展并实现更多的下游任务。

    Dec, 2021

  • 通过 Trunk-Branch 生成对抗网络合成耦合的三维人脸模态

    本研究提出了一种新颖的 GAN 方法，可以联合生成面部纹理、形状和法向量信息，用于进行类真实面部合成。同时，我们展示了如何以面部表情为条件生成具有不同表情的面部。

    Sep, 2019

  • 3DTextureTransformer：对任意网格拓扑进行几何感知纹理生成

    使用名为 3DTextureTransformer 的新颖框架，结合几何深度学习和 StyleGAN 类似的架构，能够在不改变原始高分辨率输入网格拓扑的情况下生成高质量的纹理。该架构在学习来自 3D 几何体和现实世界 2D 图像的情况下，与任意网格拓扑一起工作，取得了该类解决方案中的最新性能。

    Mar, 2024