Nov, 2023

重新思考 FID：为图像生成提供更好的评估度量

PDF
TL;DRFID 作为生成图像的主要质量度量标准存在一些问题，我们提出了一个基于更丰富的 CLIP 嵌入和最大均值差异距离的高斯 RBF 核的新的替代度量标准 CMMD，通过实验证明 FID 评估文本到图像模型的可靠性较低，而 CMMD 则提供了更强大和可靠的图像质量评估方法。
image generation methodsfrechet inception distancefid's drawbacksalternative metric cmmdtext-to-image models
发现论文，激发创造
  • ImageNet 类别在 Fréchet Inception 距离中的作用

    通过对 Fréchet Inception Distance 的调查，我们发现它容易受到人为或意外扭曲的影响。在一个意外的案例中，一个经过 ImageNet 预训练的 FastGAN 可以实现与 StyleGAN2 相当的 FID，但它在人类评估方面表现更差。

    Mar, 2022

  • 生成模型的可靠保真度和多样性度量

    本研究旨在寻找图像生成任务的指标评价方法，证明最近的精度和召回率指标并不可靠，并提出一种新的基于密度和覆盖率的评价指标，这些指标可以提供比现有指标更可靠的信息信号。

    Feb, 2020

  • 使用高阶矩来评估 GAN 生成的图像特征质量

    探索了基于图像特征数据的高斯分布的假设并通过定义新的测量方法，即偏度内插距离（SID），来扩展既定评估标准 Fréchet Inception Distance（FID）。数值实验结果表明，SID 在评估 ImageNet 数据的图像特征时要么与 FID 保持一致，要么更贴近人类感知。

    Oct, 2023

  • 生成对抗网络中 FID 和 SID 指标的评估

    使用公共数据集对图像处理中的生成对抗网络（GAN）模型进行训练和评估，发现使用 SID 指标能够有效衡量模型的生成性能，超过或者与使用 FID 指标相当。

    Feb, 2024

  • 关于 GAN 评估中的别名调整和令人惊讶的微妙问题

    本文发现在生成模型中，图像预处理是一个被低估的方面，本文识别和表征不同的预处理方式，提出需要依据信号处理原则进行调整，并提供一个可供未来比较的参考实现。

    Apr, 2021

  • 有效无偏的 FID 和 Inception Score 以及它们的获取方式

    本文表明了当评估生成模型时，目前常用的两个评估指标 FID 和 IS 是存在偏差的，偏差的程度还与受评估的模型有关系；同时，本文提出了一种修正偏差的方法，即使用 Quasi-Monte Carlo 积分方法求得准确的评估值，使用这种方法可以获得更为准确的评估结果，并且该方法可直接取代现有的评估指标。

    Nov, 2019

  • 生成对抗网络质量度量的鲁棒性研究

    本文评估了生成模型质量测量的强度，指出 Inception Score 和 Fréchet Inception Distance 可被插入的噪点影响。作者还测试了最先进的 StyleGANv2 网络及其体系结构，并提供了一种增强版本的 FID 来减轻网络极度震荡的效果。

    Jan, 2022

  • 通过准确率和召回率评估生成模型

    通过提出新的分布的精度和召回率的概念，针对生成模型提出了一种新的评估方法，能够分离出分布的两个维度，从而区分生成样本的质量和目标分布的覆盖范围，是一种有效的评价生成模型的算法。

    May, 2018

  • 关于理解深度特征空间在人脸生成评估中的作用

    通过对人脸图像的深度特征空间进行研究，我们发现 Fréchet Inception Distance 指标明显受特征空间数据集和目标函数影响，建议在使用生成模型时考虑多个特征空间并使用经过调整的特征空间。

    May, 2023

  • 揭示生成模型评估指标的缺陷及其不公平对待传播模型

    本研究旨在系统研究各种基于图像的生成模型，通过在人类感知上度量图像逼真度，发现现有指标与人类感知存在巨大差距；同时也发现现有指标无法适当检测到模型对数据的记忆现象；针对这些问题，我们提出了一种更可靠的特征提取器，并且释放了全部生成的图像数据集、人类评估数据以及计算 16 种公共指标的模块化库，以便更好地促进生成模型的发展和评估。

    Jun, 2023