CVPRMar, 2024

FlashEval：面向快速准确的文本到图像扩散生成模型评估

PDF
TL;DR近年来，文本到图像生成模型的发展取得了显著进展。我们提出了一种评估效率的方法，通过选择文本 - 图像数据集的代表性子集来改善模型评估过程。我们研究了设计选择，包括选择标准和选择粒度，并提出了一种名为 FlashEval 的迭代搜索算法。在 COCO 和 DiffusionDB 数据集上，我们证明了 FlashEval 在评估扩散模型方面的有效性。发布这些常用数据集的精简子集以促进扩散算法设计和评估，并开源 FlashEval 作为未来数据集精简的工具。
text-to-image generative modelsevaluation efficiencysubset selectionflashevaldiffusion algorithm design
发现论文，激发创造
  • GenEval: 评估文本与图像对齐的对象为中心框架

    通过 GenEval 评估框架，我们展示了当前目标检测模型可用于评估各种生成任务的文本到图像模型，并分析其生成能力。我们发现最近的模型在这些任务上有显著改进，但在空间关系和属性绑定等复杂能力方面仍有缺失。最后，我们展示了如何使用 GenEval 来发现现有的失败模式，以促进下一代文本到图像模型的发展。

    Oct, 2023

  • TeTIm-Eval：一个用于比较文本到图像模型的新型策划评估数据集

    本文提出一种基于 CLIP-score、人类判断和包含 10 个类别的高质量图片文本数据集的新型评估方法，用于评估和比较最新的文本到图片模型。实验结果表明，人类判断的准确性与 CLIP-score 完全一致。数据集已经向公众开放。

    Dec, 2022

  • Flash Diffusion: 加速任何有条件扩散模型的少步图像生成

    本论文提出了一种高效、快速和多功能的蒸馏方法，Flash Diffusion，用于加速预训练扩散模型的生成，在 COCO2014 和 COCO2017 数据集上，在少量步骤的图像生成方面表现出最先进的 FID 和 CLIP-Score 性能，只需几个 GPU 小时的训练和比现有方法少得多的可训练参数。

    Jun, 2024

  • SelfEval：利用生成模型的判别性质进行评估

    使用文本到图像生成模型的自动化方法 SelfEval，可用于评估生成模型在多模态文本 - 图像辨别任务中的性能，并展示其与人工评估结果在文本忠实性上具有高度一致性。

    Nov, 2023

  • 多任务基准测试中文本至图像模型的人类评估

    我们提供了一个新的多任务基准，用于评估文本到图像模型，在计算机视觉和机器学习领域中进行了广泛的研究，我们进行了人类评估，比较了最常见的开源（稳定扩散）和商业（DALL-E 2）模型，在三个难度级别上的三个任务上，跨十个提示，提供了 3,600 个评分。

    Nov, 2022

  • EditVal: 基于扩散的文本引导图像编辑方法的基准测试

    通过引入 EditVal，这是一个标准化的用于定量评估文本引导的图像编辑方法的基准测试，本研究对 8 种前沿扩散编辑方法进行了基准测试，发现 Instruct-Pix2Pix 和 Null-Text 的性能最好且能保持原始图像特性，而大多数编辑方法在空间操作方面失败，没有一个单独在各种编辑类型上排名最佳的方法。希望我们的基准测试能为未来开发更可靠的文本引导图像编辑工具铺平道路。

    Oct, 2023

  • EvalCrafter: 大规模视频生成模型的基准测试和评估

    对于图像和语言生成模型的视觉和语言生成模型，我们提出了一种新的框架和流程来彻底评估生成视频的性能，并通过系数对齐目标度量与用户意见，以获得模型的最终排行榜。

    Oct, 2023

  • 优化文本到图像生成：走向准确、无需训练的字形增强图像生成

    改进了 LenCom-Eval 和 MARIO-Eval 基准测试的 OCR 效果的训练自由框架，提供了生成包含长且少见文本序列图像的新方法。

    Mar, 2024

  • MobileDiffusion：移动设备上的次秒级文本到图像生成

    通过在架构和采样技术上进行广泛优化，我们提出了一种高效的 MobileDiffusion 文本到图像扩散模型，它在移动设备上实现了显著的亚秒级图像生成推断速度，创立了新的技术水平。

    Nov, 2023

  • 通过自适应取样实现大型语言模型和文本到图像模型的数据高效评估

    SubLIME 是一个数据高效评估框架，利用自适应采样技术，如聚类和质量导向方法，创建代表性的基准子集，以确保与完整数据集在模型排名方面具有高皮尔逊相关系数。该框架在评估低资源语言模型和文本到图像模型方面提供了一种灵活且经济高效的解决方案。

    Jun, 2024