Feb, 2021

生成模型评估和审计的样本级度量：合成数据的准确性如何？

PDF
TL;DR本文引入了一个三维评估指标（α- 精准度，β- 召回率，真实性），以在领域无关的情况下表征任何生成模型的保真度、多样性和泛化性能，通过样本级二元分类估计三个指标组件，激发了模型审计的新用例。
generative modelsevaluation metricsfidelitydiversitygeneralization
发现论文，激发创造
  • 评估生成模型的精准度和召回率指标的改进

    本研究提出了一种评估度量标准，以明确，非参数化表示真实和生成数据流形， 可以分别和可靠地测量图像生成任务中样本的质量和覆盖范围， 并且展示了该度量标准在 StyleGAN 和 BigGAN 方面的有效性。同时，我们分析了 StyleGAN 的多个设计变体以更好地了解模型架构，训练方法与样本分布属性之间的关系，并识别出新的改进方法。最后，我们将度量标准扩展到个体样本的感知质量估计，并使用它来研究潜空间插值。

    Apr, 2019

  • 高维生成模型保真度与多样性的测量中，精度和召回率的不对称性

    本文发现了在高维情况下，利用 k 近邻的默认方法评价生成模型的准确率和召回率存在的严重缺陷，并提出对称度更高的新指标来解决该问题。

    Jun, 2023

  • 通过准确率和召回率评估生成模型

    通过提出新的分布的精度和召回率的概念，针对生成模型提出了一种新的评估方法，能够分离出分布的两个维度，从而区分生成样本的质量和目标分布的覆盖范围，是一种有效的评价生成模型的算法。

    May, 2018

  • 生成模型的可靠保真度和多样性度量

    本研究旨在寻找图像生成任务的指标评价方法，证明最近的精度和召回率指标并不可靠，并提出一种新的基于密度和覆盖率的评价指标，这些指标可以提供比现有指标更可靠的信息信号。

    Feb, 2020

  • 揭示生成模型评估指标的缺陷及其不公平对待传播模型

    本研究旨在系统研究各种基于图像的生成模型，通过在人类感知上度量图像逼真度，发现现有指标与人类感知存在巨大差距；同时也发现现有指标无法适当检测到模型对数据的记忆现象；针对这些问题，我们提出了一种更可靠的特征提取器，并且释放了全部生成的图像数据集、人类评估数据以及计算 16 种公共指标的模块化库，以便更好地促进生成模型的发展和评估。

    Jun, 2023

  • 统一并扩展用于评估生成模型的精确度和召回率指标

    通过实验分析，统一了对生成模型的评估方法，研究了各种度量标准，特别关注了精确度 - 召回率曲线，并揭示了其存在的问题。

    May, 2024

  • 推动零售数据科学：合成数据的综合评估

    本文介绍了一种综合性框架，用于评估合成零售数据，注重保真度、实用性和隐私性。通过稳定性和普适性来衡量保真度，证明了合成数据在需求预测和动态定价等关键零售任务中的有效性，通过差分隐私确保数据具有出色的相似性和安全性，验证了该框架对于合成零售数据的可靠且可扩展的评估，是推进零售数据科学的重要工具。

    Jun, 2024

  • 可控信任权衡的审计及合成数据生成

    本文提出一个审核框架，围绕偏见和歧视预防、与真实数据的一致性、效用、鲁棒性和隐私保护进行综合评估，并引入信任指数对多个合成数据集进行排名，通过审核和认证报告连接不同利益相关者。

    Apr, 2023

  • 基于无监督评估的 GAN 样本质量：引入 TTJac 评分

    提出了一种新的评估指标 TTJac Score，用于以一种无需数据的方式评估合成图像的逼真度，通过建立理论方法和引入特征提取器和张量列车进行离散函数逼近的方法有效评估生成样本的质量，并展示了其在 StyleGAN 2 和 StyleGAN 2 ADA 模型上的应用实验结果，可用于改善逼真度和可变性之间的权衡。

    Aug, 2023

  • 生成模型的基于属性的可解释评估指标

    当训练数据集由 1:1 的狗和猫比例组成时，生成模型会更好地符合训练种群分布，而不是由 3:1 的狗和猫比例组成的其他模型。我们提出了一个新的评估协议来衡量生成的图像集与训练集在属性强度分布方面的差异。我们的指标为生成模型的评估奠定了基础。

    Oct, 2023