多变图像合成的调制对比度
本文提供了一种基于解开表示的方法来解决无配对训练图像文件的生成任务的多输出问题,并且提出了一个固定内容空间和可变属性空间的嵌入方式来生成多样化的输出。通过定量和定性实验,论文证明了该方法可以在不需要配对训练数据的情况下,生成出多样而且逼真的图像。
May, 2019
本论文探讨了基于对比学习的图像表示学习方法,提出了一种最大化互信息的下界的目标函数,并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法,研究结果表明,基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。
May, 2020
提出了一种基于对比学习的图像翻译方法,通过最大化两个元素之间的互信息来鼓励相应图像块之间的相似性,从而实现不同领域之间的图像转换,该方法可在单个图像条件下进行一侧图像转换,同时提高了合成图像的质量和减少了训练时间。
Jul, 2020
本文中介绍了一种新的图像对比学习方法,该方法采用有条件的负采样策略来优化互信息估计,与传统的噪声对比估计相比,该方法在多个标准数据集上都获得了2-5%的准确度提升,并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。
Oct, 2020
本文提出了一种无监督、基于对比学习的图像翻译方法,其主要思想是学习一个判别器,将不同的图像风格区分开来,并使其监督生成器将这些风格在图像之间进行转移。实验结果表明,该方法在视觉质量和翻译准确度方面优于当前领先的无监督基线模型。
May, 2021
本研究提出了一种基于信息论的方法来衡量两张图片之间的相似度,能够学习出轻量的critic来校准特征空间,从而实现对应空间的图像重建和非对应空间的图像排斥,这种方法能够代替L1 loss用在有或者没有GAN loss的基于监督的图像合成模型中,从而显著提升了合成图片的感知逼真度。
Nov, 2021
本文研究了针对无配对图像的图像翻译技术,并分析了循环一致性与对比学习等方法的不足。作者提出了一种新的基于信息论的负样本剪枝技术,其可以在不影响翻译效果的情况下减少耗时和计算成本。实验证明,该技术比基于大批量负样本的方法更加优越。
Apr, 2022
本文研究了存在偏差误差的图像对于现有视觉相似度测量标准的影响,并且开发了一种可以容忍图像偏移误差的相似度测量标准。通过探究神经网络元素的不同,本文开发了一种新型深度神经网络基础的视觉相似度测量标准,实验结果表明其能够容忍难以感知的偏移误差,同时与人类相似度判断一致。
Jul, 2022
本文介绍了VIESCORE,这是一种视觉指导的可解释度度量指标,用于评估任何条件图像生成任务。VIESCORE利用多模态大语言模型(MLLMs)的通用知识作为支撑,无需训练或微调。在七项著名的条件图像任务上评估VIESCORE,我们发现:(1)VIESCORE(GPT4-v)与人类评估的Spearman相关系数达到了0.3,而人类之间的相关系数为0.45。(2)与GPT-4v相比,使用开源MLLM的VIESCORE在评估合成图像时明显较弱。(3)VIESCORE在生成任务中与人类评分具有相当的相关性,但在编辑任务中存在困难。基于这些结果,我们相信VIESCORE在评估图像合成任务中展现了巨大的潜力,可以取代人类评委的角色。
Dec, 2023