NIPSMay, 2018

通过准确率和召回率评估生成模型

PDF
TL;DR通过提出新的分布的精度和召回率的概念，针对生成模型提出了一种新的评估方法，能够分离出分布的两个维度，从而区分生成样本的质量和目标分布的覆盖范围，是一种有效的评价生成模型的算法。
generative modelingstatistical divergencesprecision and recalltotal variationgenerative adversarial networks
发现论文，激发创造
  • 统一并扩展用于评估生成模型的精确度和召回率指标

    通过实验分析，统一了对生成模型的评估方法，研究了各种度量标准，特别关注了精确度 - 召回率曲线，并揭示了其存在的问题。

    May, 2024

  • 生成模型的可靠保真度和多样性度量

    本研究旨在寻找图像生成任务的指标评价方法，证明最近的精度和召回率指标并不可靠，并提出一种新的基于密度和覆盖率的评价指标，这些指标可以提供比现有指标更可靠的信息信号。

    Feb, 2020

  • GAN 和标准化流的生成建模的精准 - 召回分歧优化

    我们提出了一种新颖的训练方法，通过显式优化用户定义的精度和召回之间的权衡，通过对 PR-divergences 中唯一的 f - 散度进行最小化来实现指定的精度 - 召回权衡，从而改善了现有先进模型的性能，如 BigGAN。

    May, 2023

  • 高维生成模型保真度与多样性的测量中，精度和召回率的不对称性

    本文发现了在高维情况下，利用 k 近邻的默认方法评价生成模型的准确率和召回率存在的严重缺陷，并提出对称度更高的新指标来解决该问题。

    Jun, 2023

  • 重新思考 FID：为图像生成提供更好的评估度量

    FID 作为生成图像的主要质量度量标准存在一些问题，我们提出了一个基于更丰富的 CLIP 嵌入和最大均值差异距离的高斯 RBF 核的新的替代度量标准 CMMD，通过实验证明 FID 评估文本到图像模型的可靠性较低，而 CMMD 则提供了更强大和可靠的图像质量评估方法。

    Nov, 2023

  • 分布式学习任务中生成模型的评估

    分布式学习任务中生成模型的评估方法主要关注深度生成模型、评估方法、分布式学习、Fréchet inception distance 和 kernel inception distance。

    Oct, 2023

  • 评估生成模型的精准度和召回率指标的改进

    本研究提出了一种评估度量标准，以明确，非参数化表示真实和生成数据流形， 可以分别和可靠地测量图像生成任务中样本的质量和覆盖范围， 并且展示了该度量标准在 StyleGAN 和 BigGAN 方面的有效性。同时，我们分析了 StyleGAN 的多个设计变体以更好地了解模型架构，训练方法与样本分布属性之间的关系，并识别出新的改进方法。最后，我们将度量标准扩展到个体样本的感知质量估计，并使用它来研究潜空间插值。

    Apr, 2019

  • 生成对抗网络质量度量的鲁棒性研究

    本文评估了生成模型质量测量的强度，指出 Inception Score 和 Fréchet Inception Distance 可被插入的噪点影响。作者还测试了最先进的 StyleGANv2 网络及其体系结构，并提供了一种增强版本的 FID 来减轻网络极度震荡的效果。

    Jan, 2022

  • 揭示生成模型评估指标的缺陷及其不公平对待传播模型

    本研究旨在系统研究各种基于图像的生成模型，通过在人类感知上度量图像逼真度，发现现有指标与人类感知存在巨大差距；同时也发现现有指标无法适当检测到模型对数据的记忆现象；针对这些问题，我们提出了一种更可靠的特征提取器，并且释放了全部生成的图像数据集、人类评估数据以及计算 16 种公共指标的模块化库，以便更好地促进生成模型的发展和评估。

    Jun, 2023

  • 生成对抗网络中 FID 和 SID 指标的评估

    使用公共数据集对图像处理中的生成对抗网络（GAN）模型进行训练和评估，发现使用 SID 指标能够有效衡量模型的生成性能，超过或者与使用 FID 指标相当。

    Feb, 2024