ECCVJul, 2021

双层特征对齐用于多功能图像翻译和操作

PDF
TL;DR本文介绍了一种新的图像翻译和操作框架，通过明确地建立一种对应关系，在图像生成中实现准确的语义和风格引导，并设计了一个新的特征对齐策略，解决了建立密集对应关系所引发的计算复杂度问题。
generative adversarial networksimage translationstyle controlfeature alignmentcorrespondences
发现论文，激发创造
  • DA-GAN：基于深度注意机制生成对抗网络的实例级图像翻译

    该论文提出了一种利用 Deep Attention GAN（DA-GAN）进行实例级图像翻译的新框架，可以在高度结构化的潜空间中将来自两个集合的样本进行转换，实例级的对应关系可以通过在学习到的实例对上进行注意力来发现，该方法在应用方面表现出了很好的效果。

    Feb, 2018

  • 具有双向特征变换的引导图像到图像翻译

    本文提出了一种用于图片翻译的双向特征转换机制，可以更好地利用外部约束条件，并且在多个任务上具有与最先进方法可比的结果。

    Oct, 2019

  • 基于分割重标准化的深度特征调制技术，用于非配对图像协调

    本文提出了一种基于分割归一化图像转换框架的方法，通过用可训练的比例和位移参数代替归一化层中的仿射变换，调制每个级别的特征，从而减少各种成像设备之间的异构性，同时保留解剖结构布局，并在多种成像模态（T1w MRI，FLAIR MRI 和 OCT）的数据集上进行评估。

    Feb, 2021

  • GAN 监督下的密集视觉对准

    本研究提出了 “GAN 监督学习” 框架，该框架通过 GAN 生成的训练数据，同时学习判别模型，以及针对密集视觉对准问题的 GANgealing 算法，该算法采用 Spatial Transformer 将 GAN 生成的未对准数据随机样本映射到共同学习的目标模式上实现数据对准。实验结果表明此方法成功地对齐了复杂的数据，并发现了密集的对应关系。与过去的自监督对应算法相比，GANgealing 显著提高了效果，并在几个数据集上表现出色。该方法取得了与最先进的有监督对应算法相当甚至超过符合度，而且不需要使用任何对应关系监督或数据增强，仅在 GAN 生成的数据上进行训练。在精确对应方面，与最先进的有监督方法相比，我们的方法提高了多达 3 倍。此外，我们还展示了将其应用于增强现实、图像编辑和提前处理图像数据集以进行下游 GAN 训练等方面的应用。

    Dec, 2021

  • 基于 GAN 的动画到插画视频翻译的特征变形技术

    本研究旨在探索将动画电影风格化为原始插图风格的视频到视频翻译新领域，提出了利用无序图像集合进行视频风格化的挑战性任务，为了确保视频风格转换的时间一致性，本论文提出了一种新的生成器网络，并在三个数据集上展示了其有效性。

    Oct, 2023

  • 基于样本的图像翻译中的不平衡特征转移

    本文提出了一种新的图像翻译框架，其中引入了最优传输进行条件输入和样式范例之间的特征对齐，该方法通过设计新的不平衡最优传输和语义激活规范化方案来构建精确的语义对应关系，并成功地将样式特征注入到图像翻译过程中，实验表明，该方法在多个图像翻译任务中实现了优异的定性和定量的效果，与现有技术相比具有更高的性能。

    Jun, 2021

  • 谐波不配对图像到图像的翻译

    本文提出使用 HarmonicGAN 进行无配对图像转换，通过光滑性约束来实现一致的像素映射，并利用距离度量来维护样本的自我一致性。在医疗成像、物体转换和语义标记等应用中得到了明显的定性和定量改善，并取得了优于同类方法的实验效果。

    Feb, 2019

  • 弥合地对空图像匹配的领域差距

    本研究提出了一种基于条件 GAN 的新方法，通过合成俯视图像，将两个视图之间的差距最小化，实现了对视觉实体的跨视图建模并进行特征融合，最终在 CVUSA 数据集上成功实现了景点检索任务。

    Apr, 2019

  • MUST-GAN: 自主驾驶人物图像生成的多层统计转移

    提出一种新颖的多层次统计转移模型，通过注意力机制和属性统计学习最优的外貌表示，将其传输到姿势引导生成器进行外貌和姿势的重构，从而实现自主驱动的人物图像生成，实验证明该方法在 DeepFashion 数据集上表现出色。

    Nov, 2020

  • 基于语言引导的时尚图像编辑与特征变换

    本文提出了一种名为 FiLMedGAN 的基于自然语言表示的特征线性调制的方法，能够在仅使用少量空间信息的情况下对服装图像进行编辑和生成，相比于现有的基线工作，结合 skip connection 和 total variation regularization 方法，可以生成更为真实可信的效果，并在生成的新装与目标描述一致时具有更好的本地化能力。

    Aug, 2018