CVPRMar, 2022

探索补丁间语义关系用于图像翻译的对比学习

PDF
TL;DR本文提出了一种新的语义相关性一致性（SRC）正则化方法和解耦的对比度学习方法，利用单个图像的图像块之间的异构语义来关注多样的语义，进一步通过利用语义关系的困难负样本挖掘来提高性能，并验证了我们的方法在单模态和多模态图像翻译以及图像翻译的 GAN 压缩任务中的最先进性能。
contrastive learningimage translationsemantic relationsrc regularizationgan compression
发现论文，激发创造
  • 基于补丁的图形对比学习用于图像翻译

    利用图神经网络构建基于补丁相似度的图，提出补丁级别的对比损失和图池化方法，实现图像翻译的语义编码与语义结构的提取。

    Dec, 2023

  • 对比学习和一致性语义和结构约束的无监督合成图像细化

    该论文研究了深度神经网络模型训练中的计算机生成图像的真实性问题，使用对比度学习和硬负样本挖掘方法，实现了对计算机生成和真实图像之间的语义和结构一致性匹配，从而得到了最先进的性能表现。

    Apr, 2023

  • 图像风格转换的谱归一化双对比正则化

    本文提出了一种基于双重对比规范化和谱归一化的新型无配对图像翻译框架（SN-DCR），以保持全局结构和纹理的一致性，提高生成图像的全局结构和纹理信息，并证明该方法在多个任务上实现了 SOTA。

    Apr, 2023

  • 区域级别的对比一致性学习用于半监督语义分割

    本文提出了基于区域级别对比和一致性学习框架 (RC^2L) 的半监督语义分割方法，通过引入区域级别损失，包括 Region Mask Contrastive (RMC) 损失、Region Feature Contrastive (RFC) 损失、Region Class Consistency (RCC) 损失和 Semantic Mask Consistency (SMC) 损失，实现了更好的稳定性和性能。在 PASCAL VOC 2012 和 Cityscapes 数据集上的实验结果表明，所提出的方法优于现有最先进方法。

    Apr, 2022

  • 提升图像 - 文本预训练中的细粒度理解

    我们介绍 SPARC (SPARse Fine-grained Contrastive Alignment)，这是一种从图像 - 文本对中预训练更细粒度多模态表示的简单方法。SPARC 结合了精细化的序列损失和对全局图像和文本嵌入进行对比的损失，以同时编码全局和局部信息。我们对这种方法进行了全面评估，并显示在依赖于粗粒度信息的图像级任务（如分类）以及依赖于细粒度信息的区域级任务（如检索、目标检测和分割）上改善了性能。此外，SPARC 改善了模型的准确性和生成图像描述的能力。

    Jan, 2024

  • 探索非配对图像翻译中的语义一致性，以生成外科应用数据

    探索了无配对图像翻译技术在手术应用中生成具有语义一致性数据的可行性，并发现结构相似性损失和对比学习的简单组合方法取得了最有希望的结果。定量分析表明，使用这种方法生成的数据具有更高的语义一致性，可以更有效地用作训练数据。

    Sep, 2023

  • SCNet：学习语义对应性

    本文提出了 SCNet，一种基于卷积神经网络的语义对应的几何合理模型，利用区域提议实现匹配原语，并明确将几何一致性纳入其损失函数中，该方法在多项基准测试中均表现优异。

    May, 2017

  • 各种图像翻译任务的空间相关损失

    我们提出了一种新的空间相关损失函数，用于保持场景结构的一致性，支持图像转换过程中的大幅度外观变化，在单模态、多模态和单图像转换的所有三种非配对图像到图像的转换模式中都表现出显著的改进。

    Apr, 2021

  • 探索跨图像像素对比用于语义分割

    提出了一个利用对比学习实现像素级别度量学习的语义分割框架，能够从全局上探索标记像素的结构，并在多个数据集上带来了显著的性能改进。

    Jan, 2021

  • 空间语义循环挖掘用于指代图像分割

    本研究提出了 Spatial Semantic Recurrent Mining (S extsuperscript {2} RM) 方法，用于实现高质量的跨模态融合，包括分布语言特征、空间语义递归协同解析和解析语义平衡，并结合 Cross-scale Abstract Semantic Guided Decoder (CASG) 来凸显指代物的前景。实验证明，该方法在四个具有挑战性的数据集上表现优于其他先进算法。

    May, 2024