Apr, 2019

半监督学习下的属性指导非配对图像翻译

PDF
TL;DR本研究针对虽然已受到广泛研究但是存在监督训练需求及缺乏编码域信息等问题的不配对图像转换（UIT）提出了一种称为 AGUIT 的属性引导 UIT 模型。AGUIT 通过使用新颖的半监督设置，共同考虑 UIT 的多模态和多域任务，在表示去耦和输出细控制方面具有优点。该研究通过广泛实验表明了 AGUIT 相比现有最先进模型的优越性，同时提出了 UIT 模型的一个新挑战，即采用去耦合表示来翻译与训练集不相关的数据。
unpaired image-to-image translationaguit modelsemi-supervised learningmulti-domain tasksdisentangled representation
发现论文，激发创造
  • 多模态无监督图像到图像的翻译

    本研究提出了一种多模态无监督图像到图像的翻译框架 (MUNIT)，该框架可以将图像表示分解为内容代码和风格代码，从而能够生成来自给定源域图像的多样性输出，并能够通过提供示例样式图像来控制翻译输出的风格。该框架在对比最先进的方法的基础上，通过大量实验证明了其优势。

    Apr, 2018

  • GMM-UNIT: 基于属性高斯混合模型的无监督多领域多模态图像转换

    GMM-UNIT 基于分离内容 - 属性表示的方法，其中属性空间拟合了高斯混合模型，每个高斯混合模型组件代表一个域，它具有可以轻松扩展到大多数多域和多模态图像的优势，同时具有连续域编码，可以在域之间进行插值和外推，是用于无监督图像到图像翻译的统一框架。

    Mar, 2020

  • 无监督多领域多模态图像到图像转换与显式领域约束解耦

    本文提出了一个使用无成对训练数据和单个网络同时训练不同域的多个数据集来学习生成多样化输出的统一框架，并研究了如何更好地提取域监督信息以学习更好的分离表征和实现更好的图像翻译的方法。实验表明，所提出的方法优于或与最先进的方法相当。

    Nov, 2019

  • 基于检索引导的无监督多领域图像到图像翻译

    本文提出使用图像检索系统辅助图像翻译，从而生成更高质量的图片，实验结果表明该方案是有效的。

    Aug, 2020

  • 重新思考真正无监督的图像到图像翻译

    本文提出了一种针对图像翻译的无监督学习模型，TUNIT，该模型可以在没有成对数据或领域标签的情况下进行图像 - 图像翻译，同时在各种数据集上表现出可比甚至更好的性能。此外，该模型还可以轻松扩展到半监督学习。

    Jun, 2020

  • TuiGAN: 使用两个非配对图像进行多功能图像翻译的学习

    本研究提出了一种名为 TuiGAN 的生成模型，该模型可以完成只有两个未经配对图像进行的 UI2I 任务，在 coarse-to-fine 的过程中将生成的图像从全局结构逐渐细化到局部细节。结果表明，该模型在各种 UI2I 任务上都优于基线模型并且可以达到使用足够数据训练的现有最先进 UI2I 模型的性能。

    Apr, 2020

  • 基于生成先验的无监督图像到图像翻译

    本研究提出了一种新的框架，Generative Prior-guided UNsupervised Image-to-image Translation (GP-UNIT)，利用预训练的类条件生成对抗网络 (GANs) 的生成先验来跨越不同领域学习丰富的内容对应关系，并且我们还提出了一种新的粗粒度到细粒度的策略，通过在抽象的语义层面上捕捉一个强大的粗级内容表示来连接对象，进而为更准确的多层级内容对应学习适应性的细粒度内容特征。实验表明我们提出的方法优越性强，可适用于不同的领域和更挑战的任务。

    Apr, 2022

  • LANIT：基于语言的无标记图像翻译

    提出了一种以语言为驱动的图像翻译模型（LANIT），通过利用文本中的属性来获得 per-sample 的多热标签，并提出了 prompt learning 和域规则化损失以提高性能。

    Aug, 2022

  • GP-UNIT: 通用的生成式先验用于多功能无监督图像到图像翻译

    本文提出了一种新颖的多功能框架 —— 生成先验引导的非监督图像到图像翻译（GP-UNIT），通过学习多层级内容对应，可以在各种领域中实现高质量、多样化的翻译。

    Jun, 2023

  • 实例级图像到图像的转换

    本文提出了一种基于实例感知的图像翻译方法，通过使用细粒度的本地和全局风格来处理目标图像，从而实现更准确的线性重建并结合不同对象的多样属性，同时为目标域的局部和全局领域分别使用与源域相应空间区域匹配的风格，从而在精细度和粗糙度上同时受益，改进全局转换的质量，最后基于此方法构建了新的基准测试集并通过实验验证可以帮助实现通用对象检测。

    May, 2019