Oct, 2023

一体化：以单个 StyleGAN 向全领域翻译迈进

PDF
TL;DR我们提出了一种新颖的翻译模型 UniTranslator，用于在训练数据有限且视觉差异明显的情况下，在视觉差异明显的领域之间转换表示，主要思想是利用 CLIP 的领域中立能力作为桥接机制，同时利用独立模块从源领域和目标领域的嵌入中提取抽象的领域无关语义，将这些抽象语义与目标特定语义融合，实现在 CLIP 空间内的转换嵌入。UniTranslator 是通用且多功能的，能够在不同视觉领域的视觉挑战情景中执行多种任务，包括样式混合、风格化和翻译。值得注意的是，UniTranslator 生成高质量的翻译结果，展示了领域相关性、多样性和改进的图像质量。UniTranslator 超越了现有的通用模型的性能，并在代表性任务中表现良好。源代码和训练模型将向公众发布。
unitranslatortranslation modelclipstyleganvisual domains
发现论文，激发创造
  • StyleGAN-NADA：基于 CLIP 引导的图像生成器域自适应

    使用大规模对比性语言 - 图像预训练（Contrastive-Language-Image-Pre-training，CLIP）模型极具语义能力的特点，实现了使用文本提示来训练生成模型，无需看到图像的 “盲目” 图像生成方法。通过少量的训练，我们的方法不断适应多个具有不同样式和形状特征的领域，并维持对未来任务有吸引力的潜在空间属性。

    Aug, 2021

  • UniHDA：走向通用的混合领域自适应图像生成模型

    提出了 UniHDA，一个统一且多用途的混合领域适应框架，利用来自多个领域的多模态参考将生成器适应到新的目标领域，并提出了一种新颖的跨领域空间结构（CSS）损失来保持源生成器与目标生成器之间的详细空间结构信息，实验证明该适应后的生成器能够综合具有不同属性组成的逼真图像。

    Jan, 2024

  • 基于生成先验的无监督图像到图像翻译

    本研究提出了一种新的框架，Generative Prior-guided UNsupervised Image-to-image Translation (GP-UNIT)，利用预训练的类条件生成对抗网络 (GANs) 的生成先验来跨越不同领域学习丰富的内容对应关系，并且我们还提出了一种新的粗粒度到细粒度的策略，通过在抽象的语义层面上捕捉一个强大的粗级内容表示来连接对象，进而为更准确的多层级内容对应学习适应性的细粒度内容特征。实验表明我们提出的方法优越性强，可适用于不同的领域和更挑战的任务。

    Apr, 2022

  • SingleGAN: 单一生成器网络利用多组生成对抗学习进行图像转换

    单个生成器的多领域图像翻译方法 SingleGAN，在多种无配对数据集上显示出明显的优势和普适性。

    Oct, 2018

  • GP-UNIT: 通用的生成式先验用于多功能无监督图像到图像翻译

    本文提出了一种新颖的多功能框架 —— 生成先验引导的非监督图像到图像翻译（GP-UNIT），通过学习多层级内容对应，可以在各种领域中实现高质量、多样化的翻译。

    Jun, 2023

  • UGAN：用于多域人脸转换的不可追踪 GAN

    本研究提出了一种名为 Untraceable GAN 的方法，通过新颖的源分类器、目标原型等手段，使翻译图像只保留目标域特征，消除源域特征，这种方法在人脸编辑领域中的应用结果优于现有的模型。

    Jul, 2019

  • StarGAN: 统一的生成对抗网络用于多域图像翻译

    提出了一种名为 StarGAN 的神经网络模型，能够在一个模型中处理不同类型的图片域，解决了目前单个模型无法扩展处理二个以上图片域的问题，并且从实验结果上证明了该模型相比之前的模型具有更高的图片翻译质量以及更强的灵活性。

    Nov, 2017

  • 只需一個 CLIP，即可將 GAN 進行單次適應

    本研究提出了一种采用统一 CLIP 空间变换的单次生成器适应方法，该方法采用基于 CLIP 导向的潜变量优化进行参考图像搜索，并使用新的损失功能进行生成器微调以实现 CLIP 空间一致性。此外，研究者还提出了一种面向 CLIP 空间的路径关系对比正则化方法，以进一步提高生成模型的效果。该方法能够有效地进行属性编辑且具有较好的实验结果。

    Mar, 2022

  • XGAN: 无监督的多对多图像翻译

    本文提出了一种名为 XGAN 的双对抗自编码器，可以无监督地捕捉共同的领域语义内容，同时在两个方向上学习域与域之间的图像转换，并通过语义一致性损失函数来实现语义保留，并以公开数据集 CartoonSet 为基准来证明该方法的有效性。

    Nov, 2017

  • CLIP3Dstyler: 语言引导的 3D 任意神经风格迁移

    本文提出了一种新的基于语音指导的三维任意神经风格转移方法，通过改进方案解决了传统 2D 和 3D 方法不能解决的问题，匹配点云和语音的不同特征，并提高文本风格可辨别性，在多个场景下实现了高效的风格迁移。

    May, 2023