生成对抗网络评估指标的实证研究
这篇论文通过对多个GAN算法的大规模实验研究得出,大多数模型在经过足够的超参数优化和随机重启后可以达到类似的分数,建议未来的GAN研究应该基于更系统和客观的评估程序,同时提出了一些可用于计算精度和召回率的数据集。
Nov, 2017
本文提出了一种新的基于几何学性质的GAN模型性能度量方法,可以定量和定性地评估生成样本的质量和模式崩溃的程度。该算法适用于各种类型的数据集,并不仅限于视觉数据。我们在多种真实模型和数据集上测试了该方法,并展示了其提供的GANs特性新洞察。
Feb, 2018
本文通过使用通常仅用于培训的散度和距离函数来对各种类型的GAN性能进行评估,观察了所提出的度量之间的一致性,发现测试时间指标并不支持使用相同训练时间标准的网络,我们还将所提出的度量与人类感知分数进行比较。
Mar, 2018
通过提出新的分布的精度和召回率的概念,针对生成模型提出了一种新的评估方法,能够分离出分布的两个维度,从而区分生成样本的质量和目标分布的覆盖范围,是一种有效的评价生成模型的算法。
May, 2018
本研究提出了一种评估度量标准,以明确,非参数化表示真实和生成数据流形, 可以分别和可靠地测量图像生成任务中样本的质量和覆盖范围, 并且展示了该度量标准在StyleGAN和BigGAN方面的有效性。同时,我们分析了StyleGAN的多个设计变体以更好地了解模型架构,训练方法与样本分布属性之间的关系,并识别出新的改进方法。最后,我们将度量标准扩展到个体样本的感知质量估计,并使用它来研究潜空间插值。
Apr, 2019
本文提出了一种基于MetricGAN的条件生成对抗网络,针对一种语音增强任务作了实验,该方法可优化生成器以提高被用户指定的一项或多项评估度量标准的得分。
May, 2019
本研究提出了一种Neuroscore测评策略,该策略通过利用脑信号更直接地反映心理感知图像质量,优于现有算法并能够基于单个GAN排名图像质量,同时,本研究还介绍了基于卷积神经网络的神经-人工智能接口,可以直接从GAN生成的图像中预测Neuroscore。
Mar, 2020
本文通过实证研究代表性生成模型GAN,深入分析了如何在特征空间中代表数据点、如何使用选定样本计算合理距离以及每组要使用多少个实例等问题。实验结果表明,基于CNN和ViT的架构都是可靠和稳健的特征提取器,CKA能够在一种模型中跨越各种提取器和分层层次上产生更好的比较,而且在表征两个内部数据相关性之间的相似性方面,CKA显示出令人满意的样本效率并补充了现有指标(例如FID)。这些发现帮助我们设计了一个新的测量系统,以便在一致可靠的方式下重新评估了最先进的生成模型。
Apr, 2023
提出了一种新的评估指标TTJac Score,用于以一种无需数据的方式评估合成图像的逼真度,通过建立理论方法和引入特征提取器和张量列车进行离散函数逼近的方法有效评估生成样本的质量,并展示了其在StyleGAN 2和StyleGAN 2 ADA模型上的应用实验结果,可用于改善逼真度和可变性之间的权衡。
Aug, 2023