CVPRJun, 2021

基于样本的图像翻译中的不平衡特征转移

PDF
TL;DR本文提出了一种新的图像翻译框架，其中引入了最优传输进行条件输入和样式范例之间的特征对齐，该方法通过设计新的不平衡最优传输和语义激活规范化方案来构建精确的语义对应关系，并成功地将样式特征注入到图像翻译过程中，实验表明，该方法在多个图像翻译任务中实现了优异的定性和定量的效果，与现有技术相比具有更高的性能。
发现论文，激发创造
  • 通过最优输运指导 CycleGAN 中的一对一映射

    本文提出了一种控制 CycleGAN 学习到具有特定任务所需属性的一对一映射的方法 —— 通过一种任务特定成本函数约束优化传输映射，再用最佳传输映射的重心作为 CycleGAN 的参考，实验结果表明该算法能够实现预期的学习效果。

    Nov, 2018

  • 全局不变性下的最优输运

    该论文提出了一种在潜在的全局转换情况下进行离散最优传输的通用框架，并通过采用灵活类的不变性来选择转换进行联合最优化求解，成功解决了包括无监督词汇翻译基准在内的各种任务。

    Jun, 2018

  • 使用生成对抗网络的可伸缩非平衡最优输运

    本文介绍一种基于生成对抗网络的可伸缩的非平衡优化输运方法，该方法可以同时学习输运映射和缩放因子，以最优的代价推动源测量到目标测量，并提供了理论证明和数值实验。

    Oct, 2018

  • 不平衡最优传输：物体检测的统一框架

    本文提出了一种新方法，使用不平衡最优输运（Unbalanced Optimal Transport）对目标检测模型进行训练，能够在 AP 和 AR 方面达到业内最好水平，并提供更快的初始收敛速度，适合于大规模模型的 GPU 实现。

    Jul, 2023

  • 无配对的图像语义数据鲁棒性转化

    针对许多不成对图像翻译应用需要在翻译过程中保持输入内容的语义，而现有的分布匹配方法容易导致翻译出现意义的混淆，本文提出了一种基于对抗学习的方法来实现对输入内容的意义保护，称为 “语义鲁棒性”，该方法使用多尺度特征空间扰动对鲁棒性损失进行优化，能够有效降低输出的语义翻转现象，并在定量和定性方面优于现有方法。

    Dec, 2020

  • 双层特征对齐用于多功能图像翻译和操作

    本文介绍了一种新的图像翻译和操作框架，通过明确地建立一种对应关系，在图像生成中实现准确的语义和风格引导，并设计了一个新的特征对齐策略，解决了建立密集对应关系所引发的计算复杂度问题。

    Jul, 2021

  • 具有语义一致性的示例引导无监督图像到图像翻译

    本篇文章介绍了 Exemplar Guided & Semantically Consistent Image-to-image Translation (EGSC-IT) 网络，并用 feature masks 实现了语义上的一致性。实验结果验证，EGSC-IT 能够保持语义上的一致性，从而有效地将源图像转换为目标域中的多样性实例。

    May, 2018

  • 非平衡最优输运半对偶形式生成建模

    本文提出基于 Unbalanced Optimal Transport (UOT) 的半对偶形式构建的新型生成模型，相比于基于 OT 的方法在处理噪点，稳定性和训练收敛速度等方面表现更优。通过实验验证了该模型的性质，并研究了 UOT 之间分布差异的理论上界。实验结果显示，该模型在 CIFAR-10 和 CelebA-HQ-256 数据集上的 FID 分别为 2.97 和 5.80，优于现有基于 OT 的生成模型。

    May, 2023

  • 神经最优传输

    该研究介绍了一种基于神经网络的算法，用于计算强和弱输运成本的最优输运图和计划，并证明了神经网络是概率分布之间传输计划的通用逼近器。通过在玩具示例和非成对图像翻译上评估我们的最优输运算法的性能。

    Jan, 2022

  • 非平衡词对齐的非平衡最优输运

    本文研究了单语词汇对齐中的空对齐现象并提出了使用最优传输方法实现不均衡对齐且与专门设计的方法具有竞争力的方法。

    Jun, 2023