Nov, 2015

生成模型评估注意事项

PDF
TL;DR概率生成模型评估标准的独立性存在着许多亟需关注的性质，本文重点评估了影像模型，阐明对于高维数据当前最常用的三个标准，即平均对数似然、Parzen 窗口估计和样本视觉保真度，这些几乎是相互独立的；因此，好的表现不一定意味着好的其他标准的表现，在评估生成模型的性能时需要针对其预期应用直接进行评估，并且通常应避免使用 Parzen 窗口方法。
probabilistic generative modelsevaluationimage modelscriteriaparzen window
发现论文，激发创造
  • 评估受限生成模型的测试集和规范的实验化

    本文提出了关于现代生成模型进行约束生成任务的评估的一些建议。作者认为，生成模型的规模可以被利用来提高评估本身的抽象水平，并提供了使用规范作为评估生成质量的强大工具的建议。

    Nov, 2022

  • 限制生成模型的测试对数似然

    研究提出了一种更高效的密度估计方法，从而解决了一些复杂的生成学习算法中难以估计模型质量的问题，并证明其提供了真实测试对数似然的下界和无偏估计，同时还提出了一种偏差估计的变体，可以在有限的样本数下可靠地用于模型比较。

    Nov, 2013

  • 评估生成模型的精准度和召回率指标的改进

    本研究提出了一种评估度量标准，以明确，非参数化表示真实和生成数据流形， 可以分别和可靠地测量图像生成任务中样本的质量和覆盖范围， 并且展示了该度量标准在 StyleGAN 和 BigGAN 方面的有效性。同时，我们分析了 StyleGAN 的多个设计变体以更好地了解模型架构，训练方法与样本分布属性之间的关系，并识别出新的改进方法。最后，我们将度量标准扩展到个体样本的感知质量估计，并使用它来研究潜空间插值。

    Apr, 2019

  • 生成式评估的反事实编辑

    提出了一种基于概念而非像素的生成模型评估和解释框架，通过知识驱动的反事实编辑帮助生成图像接近其地面实况条件，并且全局解释能够反映模型无法完全生成的概念和属性，该框架适用于故事可视化和场景合成等繁重任务。

    Mar, 2023

  • 揭示生成模型评估指标的缺陷及其不公平对待传播模型

    本研究旨在系统研究各种基于图像的生成模型，通过在人类感知上度量图像逼真度，发现现有指标与人类感知存在巨大差距；同时也发现现有指标无法适当检测到模型对数据的记忆现象；针对这些问题，我们提出了一种更可靠的特征提取器，并且释放了全部生成的图像数据集、人类评估数据以及计算 16 种公共指标的模块化库，以便更好地促进生成模型的发展和评估。

    Jun, 2023

  • 通过准确率和召回率评估生成模型

    通过提出新的分布的精度和召回率的概念，针对生成模型提出了一种新的评估方法，能够分离出分布的两个维度，从而区分生成样本的质量和目标分布的覆盖范围，是一种有效的评价生成模型的算法。

    May, 2018

  • 解码器生成模型的定量分析

    本文提出使用提议的退火重要性抽样方法对基于解码器的模型进行对数似然评估，并使用双向蒙特卡罗验证其精度，分析了解码器模型的性能，现有对数似然估计器的有效性，过拟合程度以及这些模型错过数据分布的重要模式情况。

    Nov, 2016

  • 基于不确定性量化的生成模型与判别模型对比

    通过对生成法和判别法进行比较分析，研究聚焦于从各种来源获取信息的不确定性感知推断，以及对半监督学习的兼容性，推导出一般的采样方案，从后验预测分布中获得监督学习和半监督学习。

    Jun, 2024

  • 生成模型新颖性基于熵的可解释评估

    我们提出了一种基于核熵新颖性（KEN）得分的模式 - based 新颖性量化方法，用于多模态生成模型的新颖性评估，并通过对合成和真实图像分布的数值结果表明了该方法在检测新颖模式和比较最先进的生成模型方面的成功。

    Feb, 2024

  • 扩散模型的泛化性

    通过定义通用性测量，本文研究了扩散概率生成模型的泛化能力。我们发现确定性采样器生成的数据与训练集高度相关，因此泛化能力差。通过实验，我们验证了足够训练的扩散模型与经验最优解之间的微小区别对于模型具有关键性影响，并提出了另一个无潜在泛化问题的训练目标，该目标返回与原模型类似的模型，从而验证了训练扩散模型的泛化能力。

    May, 2023