Jun, 2020

GramGAN: 基于深度学习的从 2D 样例生成 3D 纹理

PDF
TL;DR本文提出了一种新颖的纹理合成框架，可以根据 2D 示例图像生成无限高质量的 3D 纹理，通过训练深度神经网络模型进行纹理生成，其中采用了结合样式迁移和生成对抗网络思想的新型损失函数，将分析网络深度特征的 Gram 矩阵与合成网络匹配，同时还提出了两种架构概念和外推策略以提高泛化性能，并通过定量和定性评估以及用户研究证实了其胜于先前最先进模型的性能。
发现论文，激发创造
  • 从 2D 样本中学习神经网络 3D 纹理空间

    文中介绍一种高计算效率的生成 2D 和 3D 自然纹理的深度学习方法，可用于纹理插值和从 2D 纹理中学习 3D 纹理。

    Dec, 2019

  • 深度几何纹理合成

    本研究提出了一种新的框架，用于学习几何纹理统计知识以生成具备放射性的深层特征，使得可以实现在不同层次上的网格顶点位移及纹理转移。

    Jun, 2020

  • TileGAN：大规模非均质纹理的合成

    在输入多张图像且需要大规模输出的纹理合成问题中，本文基于生成对抗网络提出两个扩展解决方案，一是结合较小分辨率的 GAN 训练产生边界无明显痕迹的大规模纹理地图，二是提供用户界面进行艺术控制，我们的定量和定性结果展示了合成高分辨率地图的成功案例。

    Apr, 2019

  • 纹理网络：纹理和风格化图像的前馈合成

    本文提出一种利用深度学习的方式，通过在训练阶段来移动计算负担，使用单个纹理样本训练紧凑的前馈卷积网络，可以生成任意大小的同一纹理的多个样本，并将艺术风格从给定图像传输到任何其他图像中，生成的网络轻巧，并且可以比 Gatys 等人的方法快数百倍。

    Mar, 2016

  • 通过生成对抗网络实现高质量面部表面和纹理合成

    提出了一种基于 3D 可变形模型和生成对抗网络的面部综合模型，使用普适化方法将几何数据映射到二维平面，实现了对数字扫描的几何数据高效处理，在人类纹理参数空间中生成逼真的面部纹理和它们的对应几何图形，从而获得了新的高分辨率 3D 面孔。

    Aug, 2018

  • 空间生成对抗网络纹理合成

    本文介绍了一种基于生成对抗网络的新型纹理合成模型，即空间 GAN（SGAN），其通过将输入噪声分布空间从单一向量延展至整个空间张量，实现了高品质、高可扩展性和快速实时正向生成等特点，并能够将多个不同类别的源图像融合到复杂的纹理中。同时，本文还讨论了该方法的一些局限性，并将其与其他神经纹理生成技术进行了比较。

    Nov, 2016

  • 纹理三维网格卷积生成

    本文提出使用不同 iable rendering 技术生成三角网格和相关高分辨率纹理贴图的框架，以单视角自然图像为 2D 监督，并将网格和纹理编码为 2D 表示，以便使用 2D 卷积 GAN 进行建模，并在 Pascal3D + Cars 和 CUB 上展示了方法的有效性及其评估方法。

    Jun, 2020

  • 使用马尔科夫生成对抗网络预计算的实时纹理合成

    本文提出了 Markovian Generative Adversarial Networks (MGANs) 的方法，用于训练具有高效纹理合成功能的生成神经网络。通过对 Markovian patch 的特征统计进行捕捉，可以直接生成具有任意尺寸的输出，从而使合成图像的速度显著提高，并在纹理合成、样式转移和视频样式化等领域得到应用。

    Apr, 2016

  • 对抗扩张驱动的非稳态纹理合成

    本文介绍了一种基于生成对抗网络的例子合成方法，用于处理包括空间非同变、不均质等非稳态纹理，实现了大尺度结构的捕捉，其简单的概念性方法极有效，成为解决有挑战性的纹理的无其他现有方法可处理。

    May, 2018

  • CTGAN：3D 形状的语义引导条件纹理生成器

    本研究提出了基于语义指导的条件纹理生成器（CTGAN），用于生成具有与视角一致且尊重形状语义的高质量 3D 纹理，通过精细操作潜在编码实现对生成纹理的风格和结构的显式控制，并通过输入分割进一步增强对纹理结构的控制，实验证明 CTGAN 在多个质量评估指标上优于现有的方法，并在有条件和无条件场景下实现了最先进的纹理生成性能。

    Feb, 2024