ICCVNov, 2021

用于图像预测的对比特征损失

PDF
TL;DR本研究提出了一种基于信息论的方法来衡量两张图片之间的相似度，能够学习出轻量的 critic 来校准特征空间，从而实现对应空间的图像重建和非对应空间的图像排斥，这种方法能够代替 L1 loss 用在有或者没有 GAN loss 的基于监督的图像合成模型中，从而显著提升了合成图片的感知逼真度。
supervised image synthesisl1 lossgansinformation theoryperceptual realism
发现论文，激发创造
  • 学习到的感知图像增强

    本文提出了一种使用卷积神经网络的学习 no-reference image quality metric 来提高图像处理算子的感知质量的方法，从而优化图像增强算法，成功调整局部色调映射和去雾等多种操作。

    Dec, 2017

  • 使用感知相似度度量学习生成图像

    通过使用 better calibrated to human perceptual judgments of image quality: the multiscale structural-similarity score (MS-SSIM) 进行训练而不是使用 pixel-wise loss (PL)，提出了更好的 perceptually-optimized methods，已被证明在三种不同的自动编码器中表现更好，可以在图像分类和超分辨率成像方面为计算机视觉带来极大的潜力。

    Nov, 2015

  • 强健的对比学习抵抗嘈杂视图

    本文提出一种新的对抗噪声视图具有鲁棒性的对比损失函数，它在图像、视频和图形上的对比学习基准测试中提供了一致的改进，并且是模态无关和与 InfoNCE 损失的一个简单替代方法。

    Jan, 2022

  • 对比损失的有趣特性

    本论文详细分析了对比学习的三个问题：扩展标准对比损失、局部特征学习和竞争特征抑制现象，并指出了此类方法可能存在的数据增强限制和学习饱和等问题。

    Nov, 2020

  • 图像增强的投影分布损失

    本文研究使用从目标识别 CNNs 中获取的特征来衡量图像之间的感知相似度，并使用差分距离函数训练图像增强模型，并表明聚合 CNN 激活之间的 1D-Wasserstein 距离比现有方法更可靠，并且可以在各种成像应用中显著提高感知性能。

    Dec, 2020

  • 重新审视使用 GANs 进行图像合成的评估

    本文通过实证研究代表性生成模型 GAN，深入分析了如何在特征空间中代表数据点、如何使用选定样本计算合理距离以及每组要使用多少个实例等问题。实验结果表明，基于 CNN 和 ViT 的架构都是可靠和稳健的特征提取器，CKA 能够在一种模型中跨越各种提取器和分层层次上产生更好的比较，而且在表征两个内部数据相关性之间的相似性方面，CKA 显示出令人满意的样本效率并补充了现有指标（例如 FID）。这些发现帮助我们设计了一个新的测量系统，以便在一致可靠的方式下重新评估了最先进的生成模型。

    Apr, 2023

  • 对比学习作为核逼近

    通过对无标签数据进行对比学习，可以生成低维的特征向量表示，这些特征向量可以作为输入来提高有标签数据上的监督学习系统的准确性，并探讨了对比损失函数的最小化器及其与以往学习无标签数据方法的关系。

    Sep, 2023

  • 无配对图像转换的对比学习

    提出了一种基于对比学习的图像翻译方法，通过最大化两个元素之间的互信息来鼓励相应图像块之间的相似性，从而实现不同领域之间的图像转换，该方法可在单个图像条件下进行一侧图像转换，同时提高了合成图像的质量和减少了训练时间。

    Jul, 2020

  • 为了正确的收益选择恰当的损失函数：使用分布敏感的损失函数改善深度文本到图像生成的语义一致性

    使用对比学习方法和两个损失函数（fake-to-fake 和 fake-to-real）来提高文本到图像合成任务中生成图像的语义一致性和精细细节，实验结果在 CUB 数据集上的 AttnGAN 模型和 COCO 数据集上的 Lafite 模型上优于现有方法。

    Dec, 2023

  • 无偏监督对比学习

    本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。

    Nov, 2022