Jun, 2024

基于乐观主义的生成模型在线评估方法

PDF
TL;DR通过在线评估框架和上置信边界方法，本研究提出了 FID-UCB 和 IS-UCB 算法，用于在线评估生成模型的质量和多样性，证明了这些算法的子线性遗憾界，并在标准图像数据集上呈现了数值实验结果，证明其在识别得分最大化的生成模型方面的有效性。
generative modelsevaluation frameworkonline assessmentfréchet inception distanceinception score
发现论文，激发创造
  • 有效无偏的 FID 和 Inception Score 以及它们的获取方式

    本文表明了当评估生成模型时，目前常用的两个评估指标 FID 和 IS 是存在偏差的，偏差的程度还与受评估的模型有关系；同时，本文提出了一种修正偏差的方法，即使用 Quasi-Monte Carlo 积分方法求得准确的评估值，使用这种方法可以获得更为准确的评估结果，并且该方法可直接取代现有的评估指标。

    Nov, 2019

  • 分布式学习任务中生成模型的评估

    分布式学习任务中生成模型的评估方法主要关注深度生成模型、评估方法、分布式学习、Fréchet inception distance 和 kernel inception distance。

    Oct, 2023

  • 生成对抗网络质量度量的鲁棒性研究

    本文评估了生成模型质量测量的强度，指出 Inception Score 和 Fréchet Inception Distance 可被插入的噪点影响。作者还测试了最先进的 StyleGANv2 网络及其体系结构，并提供了一种增强版本的 FID 来减轻网络极度震荡的效果。

    Jan, 2022

  • 通过准确率和召回率评估生成模型

    通过提出新的分布的精度和召回率的概念，针对生成模型提出了一种新的评估方法，能够分离出分布的两个维度，从而区分生成样本的质量和目标分布的覆盖范围，是一种有效的评价生成模型的算法。

    May, 2018

  • 关于 Inception 分数的注释

    本文针对近年来取得显著成果的深度生成模型提出新见解，对近期提出且被广泛使用的评估指标 Inception Score 进行探讨并证明其在比较模型方面未提供有用的指导。最终呼吁研究人员在评估和比较生成模型时要更加系统和谨慎，因为该领域的发展依赖于此。

    Jan, 2018

  • 推进生成模型评估：OCR 系统中逼真图像合成和比较的新算法

    本研究提出了一种新颖的算法，主要针对生成模型中合成图像的真实性进行客观评估。该算法通过改进 Fréchet Inception Distance（FID）得分，显著提高了评估方法的精确性，特别针对生成和评估阿拉伯手写数字的真实图像的挑战。我们的算法为此领域的 OCR 的发展奠定了基础，并为高质量合成图像的生成和评估设立了新的标准，从而不仅可以比较不同的生成模型，还为它们的设计和输出提供改进的途径。

    Feb, 2024

  • EvalCrafter: 大规模视频生成模型的基准测试和评估

    对于图像和语言生成模型的视觉和语言生成模型，我们提出了一种新的框架和流程来彻底评估生成视频的性能，并通过系数对齐目标度量与用户意见，以获得模型的最终排行榜。

    Oct, 2023

  • 重新思考 FID：为图像生成提供更好的评估度量

    FID 作为生成图像的主要质量度量标准存在一些问题，我们提出了一个基于更丰富的 CLIP 嵌入和最大均值差异距离的高斯 RBF 核的新的替代度量标准 CMMD，通过实验证明 FID 评估文本到图像模型的可靠性较低，而 CMMD 则提供了更强大和可靠的图像质量评估方法。

    Nov, 2023

  • 生成模型的可靠保真度和多样性度量

    本研究旨在寻找图像生成任务的指标评价方法，证明最近的精度和召回率指标并不可靠，并提出一种新的基于密度和覆盖率的评价指标，这些指标可以提供比现有指标更可靠的信息信号。

    Feb, 2020

  • 生成模型评估注意事项

    概率生成模型评估标准的独立性存在着许多亟需关注的性质，本文重点评估了影像模型，阐明对于高维数据当前最常用的三个标准，即平均对数似然、Parzen 窗口估计和样本视觉保真度，这些几乎是相互独立的；因此，好的表现不一定意味着好的其他标准的表现，在评估生成模型的性能时需要针对其预期应用直接进行评估，并且通常应避免使用 Parzen 窗口方法。

    Nov, 2015