Mar, 2020

GMM-UNIT: 基于属性高斯混合模型的无监督多领域多模态图像转换

PDF
TL;DRGMM-UNIT 基于分离内容 - 属性表示的方法，其中属性空间拟合了高斯混合模型，每个高斯混合模型组件代表一个域，它具有可以轻松扩展到大多数多域和多模态图像的优势，同时具有连续域编码，可以在域之间进行插值和外推，是用于无监督图像到图像翻译的统一框架。
unsupervised image-to-image translationmulti-domaingmm-unitdisentangled representationmode collapse
发现论文，激发创造
  • 多模态无监督图像到图像的翻译

    本研究提出了一种多模态无监督图像到图像的翻译框架 (MUNIT)，该框架可以将图像表示分解为内容代码和风格代码，从而能够生成来自给定源域图像的多样性输出，并能够通过提供示例样式图像来控制翻译输出的风格。该框架在对比最先进的方法的基础上，通过大量实验证明了其优势。

    Apr, 2018

  • GP-UNIT: 通用的生成式先验用于多功能无监督图像到图像翻译

    本文提出了一种新颖的多功能框架 —— 生成先验引导的非监督图像到图像翻译（GP-UNIT），通过学习多层级内容对应，可以在各种领域中实现高质量、多样化的翻译。

    Jun, 2023

  • 基于生成先验的无监督图像到图像翻译

    本研究提出了一种新的框架，Generative Prior-guided UNsupervised Image-to-image Translation (GP-UNIT)，利用预训练的类条件生成对抗网络 (GANs) 的生成先验来跨越不同领域学习丰富的内容对应关系，并且我们还提出了一种新的粗粒度到细粒度的策略，通过在抽象的语义层面上捕捉一个强大的粗级内容表示来连接对象，进而为更准确的多层级内容对应学习适应性的细粒度内容特征。实验表明我们提出的方法优越性强，可适用于不同的领域和更挑战的任务。

    Apr, 2022

  • 半监督学习下的属性指导非配对图像翻译

    本研究针对虽然已受到广泛研究但是存在监督训练需求及缺乏编码域信息等问题的不配对图像转换（UIT）提出了一种称为 AGUIT 的属性引导 UIT 模型。AGUIT 通过使用新颖的半监督设置，共同考虑 UIT 的多模态和多域任务，在表示去耦和输出细控制方面具有优点。该研究通过广泛实验表明了 AGUIT 相比现有最先进模型的优越性，同时提出了 UIT 模型的一个新挑战，即采用去耦合表示来翻译与训练集不相关的数据。

    Apr, 2019

  • 重新思考真正无监督的图像到图像翻译

    本文提出了一种针对图像翻译的无监督学习模型，TUNIT，该模型可以在没有成对数据或领域标签的情况下进行图像 - 图像翻译，同时在各种数据集上表现出可比甚至更好的性能。此外，该模型还可以轻松扩展到半监督学习。

    Jun, 2020

  • 通过潜空间定位的领域可扩展非配对图像翻译

    提出了一种新颖的图像生成方法：latent space anchoring，可以实现在不需要调整现有域的编解码器的情况下扩展到新的视觉域，该方法通过学习轻量级编码器和回归器来将不同域的图像锚定到相同的冻结 GANs 的潜在空间中，并且其编码器和解码器可以任意组合进行图像翻译，实验表明，该方法在标准和可伸缩的 UNIT 任务上均表现优异。

    Jun, 2023

  • UNIT-DDPM: 带去噪扩散概率模型的非配对图像翻译

    提出一种新颖的无需对抗训练的图像分类方法，该方法使用基于去噪扩散概率模型的单张图像转换方法。我们的方法是通过最小化以另一个域为条件的去噪得分匹配目标来训练生成模型以推断图像的联合分布。我们同时更新域翻译模型，并通过基于 Langevin 动力学的去噪马尔科夫链蒙特卡罗方法来生成目标域图像。该方法在几个公共数据集上实现了最先进的 Frechet Inception Distance（FID）性能，包括彩色和多光谱影像，并明显优于当前的对抗图像转换方法。

    Apr, 2021

  • 无监督多领域多模态图像到图像转换与显式领域约束解耦

    本文提出了一个使用无成对训练数据和单个网络同时训练不同域的多个数据集来学习生成多样化输出的统一框架，并研究了如何更好地提取域监督信息以学习更好的分离表征和实现更好的图像翻译的方法。实验表明，所提出的方法优于或与最先进的方法相当。

    Nov, 2019

  • 基于检索引导的无监督多领域图像到图像翻译

    本文提出使用图像检索系统辅助图像翻译，从而生成更高质量的图片，实验结果表明该方案是有效的。

    Aug, 2020

  • In2I ：基于生成对抗网络的无监督多图像到图像转换

    本文介绍了一种利用多个输入域来实现图像翻译的方案，使用基于生成对抗网络的多模式生成器结构和一种新的损失项，潜在一致性损失，实现了比现有无监督图像到图像转换方法更好的转换效果。

    Nov, 2017