Aug, 2023

可控多领域语义艺术创作

PDF
TL;DR我们提出了一个新颖的多领域艺术品合成框架，通过语义布局生成艺术作品。我们还提出了一种名为 ArtSem 的数据集，包含 40,000 张不同领域的艺术品图像及其对应的语义标签地图。利用条件生成对抗网络（GAN），我们在不需要成对训练数据的情况下，从语义地图生成高质量的艺术品。我们的模型能够学习样式和语义信息的结合表示，从而提高生成艺术图像的质量。通过结合数据集和方法，我们能够生成用户可控的高质量艺术作品。
multi-domain synthesisartworksemantic layoutsconditional generative adversarial networkuser-controllable artwork
发现论文，激发创造
  • 基于分割指导 GAN 的双域图像合成

    本文介绍了一种基于分割引导的方法来合成包含两个不同领域特征的图像，该方法结合了少样本风格生成对抗网络（few-shot StyleGAN）和单次语义分割技术，其中使用了分割引导的感知损失函数来使得生成图像的质量达到一定的水平，并对生成的双领域图像的质量进行了定性和定量的评估。

    Apr, 2022

  • 3DAvatarGAN: 搭建领域以获得可个性化编辑的头像

    本文提出了一种适应性框架，它能够使 3D-GAN 在艺术数据上训练，同时保持多视角的一致性和良好的纹理质量，通过优化方法对摄像机参数进行分布对齐，提出了纹理常规化技术，同时避免退化几何解，并展示了一种变形技术，使艺术领域的几何形态更加夸张，可以个性化的进行几何编辑，最终实现了在艺术数据集上生成、编辑和动画化个性化的 3D 角色。

    Jan, 2023

  • 基于语义感知的生成对抗网络在胸部 X 光分割的无监督领域自适应中的应用

    通过设计语义感知的生成对抗网络，将测试图像转换成源域的外观，保留语义结构信息，并实现语义标签空间内的嵌套对抗学习。通过生成对抗网络映射数据分布、循环一致性保留像素级内容以及语义感知增强结构信息，实现对两个不同的胸部 X 光公共数据集进行左 / 右肺分割的无监督领域自适应，创造性地解决了深度学习在 domain shift 上性能下降的问题，并与有监督的迁移学习性能相媲美。

    Jun, 2018

  • Art2Real：通过语义感知的图像翻译展示艺术品的真实面貌

    通过语义感知的计算机视觉技术，将艺术作品转化为照片般写实的图像，降低了艺术数据与真实数据的视觉差距，并取得了分类、检测和分割任务的表现优化。

    Nov, 2018

  • 语义感知渐进式生成对抗网络（Grad-GAN）用于虚拟到真实城市场景的适应性

    本文提出了一种新的基于 SG-GAN 的虚拟到现实领域自适应方法，可以有效地保留关键语义信息以实现更好的识别。实验证明，与现有 GAN 相比，SG-GAN 在场景自适应方面具有更好的性能，使用 SG-GAN 适应的虚拟图像在语义分割上比原始虚拟数据明显提高。

    Jan, 2018

  • DGSS: 使用迭代风格挖掘和潜在表示对域通用语义分割进行分析

    本文提出单源域泛化的两步法框架来克服领域差距，使用对抗性样式和样式混合机制，以实现具有一致性表现的领域广义语义分割算法。

    Feb, 2022

  • 基于生成模型的语义分割：半监督学习与强领域通用化

    本论文提出一个创新的框架，利用半监督学习，生成对图像和标签的联合分布进行判别像素级任务，并通过少量标签图像和大量无标签图像的补充进行训练，该方法在医学图像分割和面部分割领域表现出强大的领域内性能，并展示了从 CT 到 MRI 等领域之外的广泛有效性。

    Apr, 2021

  • 利用合成数据进行学习：解决语义分割的领域偏移问题

    该研究提出了一种基于生成对抗网络（GANs）的新方法，以改进分割网络所学到的表示在合成和真实领域中的自适应，证明了其具有广泛性和可扩展性。

    Nov, 2017

  • 语义合成图像

    提出利用语义布局来综合生成逼真图像的新方法，该方法建立了区域之间的依赖关系并通过动态加权网络实现，既保留了语义区分，同时加强了语义相关性，提高了全局结构和细节的合成质量。

    Sep, 2021

  • DGInStyle：基于图像扩散模型和风格化语义控制的领域通用语义分割

    我们提出了一种名为 DGInStyle 的高效数据生成流水线，通过将预训练的潜在扩散模型（LDM）专门用于语义控制生成，设计一种多分辨率潜在融合技术来克服 LDM 对主导对象的偏见，并提出一种样式交换技术来赋予丰富的生成先验学习的语义控制。使用 DGInStyle，我们生成了一个多样化的街景数据集，在其上训练了一个领域无关的语义分割模型，并在多个流行的自动驾驶数据集上评估了该模型的性能，我们的方法一致提高了几种领域泛化方法的性能，在某些情况下比之前的最先进方法提高了 2.5 个 mIoU，而没有我们的生成增强方案。

    Dec, 2023