Jun, 2023

揭示生成模型评估指标的缺陷及其不公平对待传播模型

PDF
TL;DR本研究旨在系统研究各种基于图像的生成模型，通过在人类感知上度量图像逼真度，发现现有指标与人类感知存在巨大差距；同时也发现现有指标无法适当检测到模型对数据的记忆现象；针对这些问题，我们提出了一种更可靠的特征提取器，并且释放了全部生成的图像数据集、人类评估数据以及计算 16 种公共指标的模块化库，以便更好地促进生成模型的发展和评估。
image-based generative modelsperceptual realismmetricsfeature extractorsdata memorization
发现论文，激发创造
  • 关于训练样本记忆的研究：大规模竞赛生成模型评测的经验教训

    通过设计和部署生成建模竞赛来批判性地评估能够被轻松操纵的启发式度量标准，在竞赛中，我们收到了超过 11,000 个提交的模型，并提出了新的度量标准来检测意图记忆 (MiFID)。我们进一步检查了竞赛中表现最好的 1000 个模型的代码，并手动标记了不同形式的记忆，发现非故意记忆是一个严重而普遍的问题。

    Jun, 2021

  • 生成模型的可靠保真度和多样性度量

    本研究旨在寻找图像生成任务的指标评价方法，证明最近的精度和召回率指标并不可靠，并提出一种新的基于密度和覆盖率的评价指标，这些指标可以提供比现有指标更可靠的信息信号。

    Feb, 2020

  • 人类难辩别的图像分布对分类器难辩别吗？

    用分布分类任务发现分类器对图像的识别以边缘和高频成分为主，与人类呈现截然不同的观察结果。

    May, 2024

  • 通过准确率和召回率评估生成模型

    通过提出新的分布的精度和召回率的概念，针对生成模型提出了一种新的评估方法，能够分离出分布的两个维度，从而区分生成样本的质量和目标分布的覆盖范围，是一种有效的评价生成模型的算法。

    May, 2018

  • 关于量化和改善扩散生成图像的逼真度

    通过五个统计量计算的图像逼真度评分（IRS）是一个高效的图像逼真度度量，也可用作判断图像真实与否的指标。实验结果表明，IRS 可以成功检测由多种高质量生成模型生成的假图像，并且可以通过改进模型的生成损失函数，显著提高生成内容的质量。

    Sep, 2023

  • 评估生成模型的精准度和召回率指标的改进

    本研究提出了一种评估度量标准，以明确，非参数化表示真实和生成数据流形， 可以分别和可靠地测量图像生成任务中样本的质量和覆盖范围， 并且展示了该度量标准在 StyleGAN 和 BigGAN 方面的有效性。同时，我们分析了 StyleGAN 的多个设计变体以更好地了解模型架构，训练方法与样本分布属性之间的关系，并识别出新的改进方法。最后，我们将度量标准扩展到个体样本的感知质量估计，并使用它来研究潜空间插值。

    Apr, 2019

  • 针对合成医学影像的扩散模型应谨慎 -- 与 GAN 相比记忆脑肿瘤影像的能力比较

    本研究使用 BRATS20 和 BRATS21 数据集，对比了 StyleGAN 和扩散模型中合成的脑肿瘤图像与所有训练图像之间的相关性，结果表明扩散模型更容易记忆训练图像，因此在医学影像等领域应谨慎使用。

    May, 2023

  • 生成对抗网络质量度量的鲁棒性研究

    本文评估了生成模型质量测量的强度，指出 Inception Score 和 Fréchet Inception Distance 可被插入的噪点影响。作者还测试了最先进的 StyleGANv2 网络及其体系结构，并提供了一种增强版本的 FID 来减轻网络极度震荡的效果。

    Jan, 2022

  • 重新思考 FID：为图像生成提供更好的评估度量

    FID 作为生成图像的主要质量度量标准存在一些问题，我们提出了一个基于更丰富的 CLIP 嵌入和最大均值差异距离的高斯 RBF 核的新的替代度量标准 CMMD，通过实验证明 FID 评估文本到图像模型的可靠性较低，而 CMMD 则提供了更强大和可靠的图像质量评估方法。

    Nov, 2023

  • 从扩散模型获取训练数据

    本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

    Jan, 2023