CVPRMar, 2022

QS-Attn: 基于查询选择的注意力机制用于 I2I 翻译的对比学习

PDF
TL;DR本文提出了一种基于查询选择注意机制（QS-Attn）的自监督对比学习方法，针对目前随机筛选特征点的问题，选择具有显著性的锚点进行对比损失，同时利用减小的注意力矩阵来实现特征点的路由，从而保持源域中的特征关系。在三个不同的 I2I 数据集中验证了该方法的有效性。
unpaired image-to-image translationself-supervised contrastive learningattention mechanismmutual informationi2i datasets
发现论文，激发创造
  • 无监督注意力引导的图像到图像翻译

    本研究提出了一种注意力机制结合无监督学习和对抗训练的图像转换方法，能够在不需要监督的情况下，准确地定位并转换图像中的特定对象，从而比现有技术实现更加逼真的图像转换。

    Jun, 2018

  • 无监督图像对图像翻译的对比学习

    本文提出了一种无监督、基于对比学习的图像翻译方法，其主要思想是学习一个判别器，将不同的图像风格区分开来，并使其监督生成器将这些风格在图像之间进行转移。实验结果表明，该方法在视觉质量和翻译准确度方面优于当前领先的无监督基线模型。

    May, 2021

  • 无配对图像转换的对比学习

    提出了一种基于对比学习的图像翻译方法，通过最大化两个元素之间的互信息来鼓励相应图像块之间的相似性，从而实现不同领域之间的图像转换，该方法可在单个图像条件下进行一侧图像转换，同时提高了合成图像的质量和减少了训练时间。

    Jul, 2020

  • 文本与图像个性化解耦的注意力校准

    我们提出了一种关注力校准机制，名为 DisenDiff，通过学习可学习的修饰符来捕捉单个图像中的多个概念，并生成具有学习概念的新颖定制图像。我们展示了该方法在定性和定量评估上表现优于当前的最佳方法。此外，我们的技术还与 LoRA 和修复管道兼容，实现更多交互体验。

    Mar, 2024

  • 双重对比学习用于无监督图像翻译

    本文提出了一种新的基于对比学习与双学习设置的方法，用于有效地推断未匹配数据之间的映射，同时解决了 “切割” 方法存在的潜在问题，并通过大量的消融研究和多个挑战性的图像翻译任务展示了优越的性能。然后，我们证明了非监督方法和监督方法之间的差距可以被有效地缩小。

    Apr, 2021

  • 基于注意力机制的对比学习在 Winograd Schema 上的应用

    本文研究了将对比学习扩展到 Transformer attention 来解决 Winograd Schema Challenge 的能力，并提出了一种新的自监督框架，直接在自注意力层级上利用对比损失，最终在多个数据集上展现了优越的常识推理能力，该方法胜过所有可比的无监督方法，有时甚至超越有监督学习。

    Sep, 2021

  • AttentionGAN: 利用 Attention 引导的生成对抗网络实现非配对图像转换

    本文提出了一种新的基于注意力向导的生成对抗网络 (AttentionGAN)，通过生成注意力掩码来识别最具区别性的前景物体，并将生成的输出融合到注意力掩码中，从而获得高质量的目标图像，实验表明，相较于现有的竞争模型，该方法能够生成更鲜明和更现实的图像。

    Nov, 2019

  • 学习关系对准以进行校准的跨模态检索

    本论文提出一种新的 Intra-modal Self-attention Distance（ISD）度量方法和 Inter-modal Alignment on Intra-modal Self-attentions（IAIS）正则化训练方法，旨在通过 ISD 度量语言和视觉关系之间的语义距离并通过 IAIS 进行交叉训练，从而提高 Flickr30k 和 MS COCO 数据集中的跨模态检索性能。

    May, 2021

  • 基于转化注意力一致性和对比聚类损失的无监督深度度量学习

    该研究提出了一种基于变换后的注意力图的无监督深度度量学习方法，通过学习图像在比较中产生的视觉注意图的一致性，使用孪生深度神经网络对图像及其变化或匹配对进行编码和比较，并采用三元损失和对比聚类损失来增强生成特征的跨类别差别能力，实验结果表明该方法在无监督度量学习方面的表现超越了当前的最先进方法。

    Aug, 2020

  • 神经分布式图像压缩与交叉注意特征对齐

    本文介绍了一种新的编解码方法，可以压缩成对立体图像并利用解码器端的相关性附加信息，以更有效地重构图像。该算法利用了交叉注意力模块对齐处理相关特征图，实验验证了其在 KITTI 和 Cityscape 数据集上的优越性能。

    Jul, 2022