Aug, 2023

基于似然的基于补丁级感知和语义信用指派的文本到图像评估

PDF
TL;DR我们提出了一种基于似然的文本到图像生成模型，通过直接估计生成图像的似然来评估其生成性能，并通过语义和感知显著性的图像补丁的信用分配策略改进了评估指标。该方法在感知质量和文本 - 图像对齐方面能够高效地评估多种流行的文本到图像生成模型和数据集的生成能力。
text-to-image synthesisevaluation metricslikelihood-based text-to-image generative modelcredit assignment strategyperceptual quality
发现论文，激发创造
  • Lafite2: 少样本文本到图像生成

    本文提出了一种在仅有图像数据集的情况下预训练文本到图像生成模型的新方法，通过检索和优化过程综合生成伪文本特征，可以灵活应用于各种情境和模型，并在实验中表现出显著的效果，GAN 模型在完全监督的情况下得到了 6.78 的 FID，是 GAN 最新的 SoTA 结果。

    Oct, 2022

  • ConceptBed: 评估文本到图像扩散模型的概念学习能力

    为了定量衡量 T2I 模型在学习和合成新型视觉概念的能力，该论文提出了一个大规模数据集 ConceptBed 和一个新的评估指标 Concept Confidence Deviation (CCD)，作者评估了对象、属性、样式及四种组合性维度，研究发现概念学习和保持组合性之间存在权衡。

    Jun, 2023

  • 评估文本到图像合成：图像质量指标的调查和分类

    最近的文本到图像合成研究利用语言和视觉结合的基础模型取得了突破。为了确保文本和图像之间的内容对齐，研究人员开发了新的评估指标，通过收集带有复杂注释的数据集来研究视觉 - 语言模型的组合性以及作为内容对齐质量度量的能力。本文全面介绍了现有的文本到图像评估指标，并提出了一种新的对这些指标进行分类的分类方法。我们还回顾了经常使用的文本 - 图像基准数据集，并讨论了优化文本到图像合成模型的技术以提高质量和人类偏好的准则。最后，我们提出了改进文本到图像评估的准则，并讨论了目前的挑战和限制。

    Mar, 2024

  • 纵观文本和图像生成的整体评估

    我们介绍了 InterleavedBench 作为第一个精心策划的用于评估混合文本图像生成的基准，并引入了使用 GPT-4o 提供准确且可解释的评估的强无参考度量 InterleavedEval。通过广泛的实验和严格的人工评估，我们表明我们的基准和度量可以有效评估现有模型，并与以前的基于参考的度量具有较强的相关性。

    Jun, 2024

  • 学习生成语义布局以实现文本到图像综合中更高的文本 - 图像对应性

    通过利用可用的语义布局，我们提出了一种增强文本 - 图像对应关系的新方法。具体而言，我们提出了一种高斯 - 分类扩散过程，同时生成图像和相应的布局对。我们的实验证明，通过训练模型为每个像素生成语义标签，我们可以引导文本 - 图像生成模型意识到不同图像区域的语义，从而达到比现有方法更高的文本 - 图像对应关系。

    Aug, 2023

  • 重新思考 FID：为图像生成提供更好的评估度量

    FID 作为生成图像的主要质量度量标准存在一些问题，我们提出了一个基于更丰富的 CLIP 嵌入和最大均值差异距离的高斯 RBF 核的新的替代度量标准 CMMD，通过实验证明 FID 评估文本到图像模型的可靠性较低，而 CMMD 则提供了更强大和可靠的图像质量评估方法。

    Nov, 2023

  • 扩散模型图像生成的一种量化一致性的语义方法

    通过使用对比式语言 - 图像预训练（CLIP）得出的平均语义一致性分数，本研究提出了一种解释性、定量的图像生成一致性评分，用于评估扩散模型的图像生成一致性，并发现了两种优秀的开源图像生成扩散模型 Stable Diffusion XL 和 PixArt-α 之间的显著差异。该文还研究了 SDXL 和经过 LoRA 精细调整的 SDXL 模型的一致性，并发现经过精细调整的模型在生成的图像的语义一致性方面显著提高。本文提出的语义一致性评分为图像生成对齐提供了度量方法，有助于评估特定任务的模型架构，并促进基于模型的决策制定。

    Apr, 2024

  • 划分、评估与改进：基于迭代 VQA 反馈的文本到图像对齐的评估和改进

    通过分解式对齐评估和改进文本到图像的对齐效果，并使用 Decompositional-Alignment-Score 和 VQA 模型来测量不同断言的对齐度。实验结果表明，这种对齐度指标与人类评分高度相关，并且断言级别的对齐度评分可用于逐步提高最终图像输出中不同断言的表达。人类用户研究表明，该方法在整体文本到图像对齐准确性方面超过了之前的最先进方法 8.7%。

    Jul, 2023

  • 文本到图像合成中的语义关联对抗学习

    本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

    Dec, 2018

  • 评估文本与图像生成模型：人类图像合成的实证研究

    我们在本文中提出了一种经验研究，介绍了一种用于文本到图像（T2I）生成模型的细致评估框架，应用于人类图像合成。我们的框架将评估分为两个不同的组别：第一组主要关注美学和真实性等图像质量，第二组则检验文本条件，包括概念覆盖和公平性。我们引入了一种创新的美学评分预测模型，评估生成图像的视觉吸引力，并首次提供了标记有生成人类图像低质量区域的数据集以便进行自动缺陷检测。我们对概念覆盖的探索考察了模型准确解释和渲染基于文本的概念的有效性，而公平性分析则揭示了模型输出中的偏见，特别关注性别、种族和年龄。尽管我们的研究以人类图像为基础，但这种双重面向的方法被设计成具有灵活性，可以应用于其他形式的图像生成，增强我们对生成模型的理解，并为下一代更复杂、具有上下文意识和伦理关注的生成模型铺平道路。我们将很快发布我们的代码，用于评估生成模型的数据以及标注有有缺陷区域的数据集。

    Mar, 2024