生成对抗网络中FID和SID指标的评估
本文研究了生成对抗网络(GAN)的评估方法,发现基于核最大均值差(MMD)和最近邻(1-NN)等指标,可以较好地满足评估需要,同时具备区分真实样本与生成样本的性质,并探究了几种著名 GAN 模型的特性。
Jun, 2018
本研究提出Frechet Joint Distance (FJD)作为一种度量条件生成对抗网络(CGANs)模型质量的单一指标。通过在一个可控的合成数据集上进行实验,证明了FJD在评估CGANs模型时的优越性,并用于评估了基于CGANs模型的多种调节模式,如类标签、对象掩模、边界框、图像和文本说明。
Jul, 2019
本文表明了当评估生成模型时,目前常用的两个评估指标 FID 和 IS 是存在偏差的,偏差的程度还与受评估的模型有关系;同时,本文提出了一种修正偏差的方法,即使用 Quasi-Monte Carlo 积分方法求得准确的评估值,使用这种方法可以获得更为准确的评估结果,并且该方法可直接取代现有的评估指标。
Nov, 2019
提出了一种新的度量距离叫做拓扑距离,它可以比较真实数据和生成数据的几何和拓扑特征,同时也能够衡量生成对抗网络(GANs)的学习效果。在多种数据集上,与常用的测量方法进行了比较,证明了该方法是一种强有力的候选指标。
Feb, 2020
本文发现在生成模型中,图像预处理是一个被低估的方面,本文识别和表征不同的预处理方式,提出需要依据信号处理原则进行调整,并提供一个可供未来比较的参考实现。
Apr, 2021
文章提出一种名为TREND的新方法来评估生成对抗网络(GAN)的生成质量,相比于现有的评估指标,TREND方法使用截断广义正态分布更准确地估计图像样本集的密度,从而消除了评估结果不可靠的风险。
Apr, 2021
通过对Fréchet Inception Distance的调查,我们发现它容易受到人为或意外扭曲的影响。在一个意外的案例中,一个经过ImageNet预训练的FastGAN可以实现与StyleGAN2相当的FID,但它在人类评估方面表现更差。
Mar, 2022
探索了基于图像特征数据的高斯分布的假设并通过定义新的测量方法,即偏度内插距离(SID),来扩展既定评估标准Fréchet Inception Distance(FID)。数值实验结果表明,SID在评估ImageNet数据的图像特征时要么与FID保持一致,要么更贴近人类感知。
Oct, 2023
FID作为生成图像的主要质量度量标准存在一些问题,我们提出了一个基于更丰富的CLIP嵌入和最大均值差异距离的高斯RBF核的新的替代度量标准CMMD,通过实验证明FID评估文本到图像模型的可靠性较低,而CMMD则提供了更强大和可靠的图像质量评估方法。
Nov, 2023
本文提出了两种新的评估指标,以基于归一化流的方式评估生成图像的真实性,解决了传统评估指标在小样本数据集上的稳定性问题。新指标在计算上更高效,并且在小型生成图像集的评估中表现优越,能准确反映图像的真实分布。实验结果显示,这些指标与图像退化程度具有单调关系,具有重要的实际应用潜力。
Oct, 2024