CVPRNov, 2019

有效无偏的 FID 和 Inception Score 以及它们的获取方式

PDF
TL;DR本文表明了当评估生成模型时，目前常用的两个评估指标 FID 和 IS 是存在偏差的，偏差的程度还与受评估的模型有关系；同时，本文提出了一种修正偏差的方法，即使用 Quasi-Monte Carlo 积分方法求得准确的评估值，使用这种方法可以获得更为准确的评估结果，并且该方法可直接取代现有的评估指标。
generative modelsevaluation metricsbiasquasi-monte carlo integrationgan training
发现论文，激发创造
  • 重新思考 FID：为图像生成提供更好的评估度量

    FID 作为生成图像的主要质量度量标准存在一些问题，我们提出了一个基于更丰富的 CLIP 嵌入和最大均值差异距离的高斯 RBF 核的新的替代度量标准 CMMD，通过实验证明 FID 评估文本到图像模型的可靠性较低，而 CMMD 则提供了更强大和可靠的图像质量评估方法。

    Nov, 2023

  • 生成对抗网络质量度量的鲁棒性研究

    本文评估了生成模型质量测量的强度，指出 Inception Score 和 Fréchet Inception Distance 可被插入的噪点影响。作者还测试了最先进的 StyleGANv2 网络及其体系结构，并提供了一种增强版本的 FID 来减轻网络极度震荡的效果。

    Jan, 2022

  • 生成模型的可靠保真度和多样性度量

    本研究旨在寻找图像生成任务的指标评价方法，证明最近的精度和召回率指标并不可靠，并提出一种新的基于密度和覆盖率的评价指标，这些指标可以提供比现有指标更可靠的信息信号。

    Feb, 2020

  • ImageNet 类别在 Fréchet Inception 距离中的作用

    通过对 Fréchet Inception Distance 的调查，我们发现它容易受到人为或意外扭曲的影响。在一个意外的案例中，一个经过 ImageNet 预训练的 FastGAN 可以实现与 StyleGAN2 相当的 FID，但它在人类评估方面表现更差。

    Mar, 2022

  • 使用高阶矩来评估 GAN 生成的图像特征质量

    探索了基于图像特征数据的高斯分布的假设并通过定义新的测量方法，即偏度内插距离（SID），来扩展既定评估标准 Fréchet Inception Distance（FID）。数值实验结果表明，SID 在评估 ImageNet 数据的图像特征时要么与 FID 保持一致，要么更贴近人类感知。

    Oct, 2023

  • 生成对抗网络中 FID 和 SID 指标的评估

    使用公共数据集对图像处理中的生成对抗网络（GAN）模型进行训练和评估，发现使用 SID 指标能够有效衡量模型的生成性能，超过或者与使用 FID 指标相当。

    Feb, 2024

  • 通过准确率和召回率评估生成模型

    通过提出新的分布的精度和召回率的概念，针对生成模型提出了一种新的评估方法，能够分离出分布的两个维度，从而区分生成样本的质量和目标分布的覆盖范围，是一种有效的评价生成模型的算法。

    May, 2018

  • 基于乐观主义的生成模型在线评估方法

    通过在线评估框架和上置信边界方法，本研究提出了 FID-UCB 和 IS-UCB 算法，用于在线评估生成模型的质量和多样性，证明了这些算法的子线性遗憾界，并在标准图像数据集上呈现了数值实验结果，证明其在识别得分最大化的生成模型方面的有效性。

    Jun, 2024

  • 分布式学习任务中生成模型的评估

    分布式学习任务中生成模型的评估方法主要关注深度生成模型、评估方法、分布式学习、Fréchet inception distance 和 kernel inception distance。

    Oct, 2023

  • 关于 GAN 评估中的别名调整和令人惊讶的微妙问题

    本文发现在生成模型中，图像预处理是一个被低估的方面，本文识别和表征不同的预处理方式，提出需要依据信号处理原则进行调整，并提供一个可供未来比较的参考实现。

    Apr, 2021