ECCVApr, 2018

多模态无监督图像到图像的翻译

PDF
TL;DR本研究提出了一种多模态无监督图像到图像的翻译框架 (MUNIT)，该框架可以将图像表示分解为内容代码和风格代码，从而能够生成来自给定源域图像的多样性输出，并能够通过提供示例样式图像来控制翻译输出的风格。该框架在对比最先进的方法的基础上，通过大量实验证明了其优势。
unsupervised image-to-image translationmultimodal unsupervised image-to-image translationcontent codestyle codestate-of-the-art approaches
发现论文，激发创造
  • 无监督多领域多模态图像到图像转换与显式领域约束解耦

    本文提出了一个使用无成对训练数据和单个网络同时训练不同域的多个数据集来学习生成多样化输出的统一框架，并研究了如何更好地提取域监督信息以学习更好的分离表征和实现更好的图像翻译的方法。实验表明，所提出的方法优于或与最先进的方法相当。

    Nov, 2019

  • 无监督图像转换网络

    本文介绍了一种基于共享潜在空间假设和 Coupled GANs 的无监督的图像到图像翻译框架，并在多个挑战性的无监督图像翻译任务中取得了高质量的翻译结果，同时也应用于域自适应并实现了最先进的基准数据集性能。

    Mar, 2017

  • 使用领域特定变分信息界限进行无监督图像到图像的翻译

    本文介绍了一种无监督图像转换框架，该框架最大化了一个特定域的变分信息界，并学习了这两个域的目标域不变表示。

    Nov, 2018

  • 基于检索引导的无监督多领域图像到图像翻译

    本文提出使用图像检索系统辅助图像翻译，从而生成更高质量的图片，实验结果表明该方案是有效的。

    Aug, 2020

  • 重新思考真正无监督的图像到图像翻译

    本文提出了一种针对图像翻译的无监督学习模型，TUNIT，该模型可以在没有成对数据或领域标签的情况下进行图像 - 图像翻译，同时在各种数据集上表现出可比甚至更好的性能。此外，该模型还可以轻松扩展到半监督学习。

    Jun, 2020

  • GMM-UNIT: 基于属性高斯混合模型的无监督多领域多模态图像转换

    GMM-UNIT 基于分离内容 - 属性表示的方法，其中属性空间拟合了高斯混合模型，每个高斯混合模型组件代表一个域，它具有可以轻松扩展到大多数多域和多模态图像的优势，同时具有连续域编码，可以在域之间进行插值和外推，是用于无监督图像到图像翻译的统一框架。

    Mar, 2020

  • 基于生成先验的无监督图像到图像翻译

    本研究提出了一种新的框架，Generative Prior-guided UNsupervised Image-to-image Translation (GP-UNIT)，利用预训练的类条件生成对抗网络 (GANs) 的生成先验来跨越不同领域学习丰富的内容对应关系，并且我们还提出了一种新的粗粒度到细粒度的策略，通过在抽象的语义层面上捕捉一个强大的粗级内容表示来连接对象，进而为更准确的多层级内容对应学习适应性的细粒度内容特征。实验表明我们提出的方法优越性强，可适用于不同的领域和更挑战的任务。

    Apr, 2022

  • 复杂场景下的几何无监督图像到图像转换

    本文介绍了一种在多元和内容丰富的图像上使用单个物体翻译方法的扩展方法，使用基于目标检测的方式对数据集进行扩充，同时提出了一种适应 FUNIT 框架的方法，以利用其他方法中可以看到的目标检测技术的优势。

    Jun, 2021

  • 无监督多模态神经机器翻译

    本研究提出了一种基于多模态机器翻译框架的无监督神经机器翻译方法，通过图像识别加强双向多模态翻译的学习效果，在 Multi30K 数据集上与传统基于文本的神经机器翻译相比，本方法有更好的实验结果。

    Nov, 2018

  • In2I ：基于生成对抗网络的无监督多图像到图像转换

    本文介绍了一种利用多个输入域来实现图像翻译的方案，使用基于生成对抗网络的多模式生成器结构和一种新的损失项，潜在一致性损失，实现了比现有无监督图像到图像转换方法更好的转换效果。

    Nov, 2017