Jun, 2024

GenAI-Bench: 评估和改进文本到视觉生成能力

PDF
TL;DR本文通过对 GenAI-Bench 上的人类评分进行广泛研究，评估领先的图像和视频生成模型在复合文本到视觉生成的各个方面的性能，并发现 VQAScore 比先前的评估指标（如 CLIPScore）明显优于人类评分，而且 VQAScore 可以在黑盒的基础上通过简单地对候选图像进行排名（3 到 9 张）从而显著提高生成速度，在需要高级视觉语言推理的复合提示下，VQAScore 的排名效果比其他评分方法如 PickScore、HPSv2 和 ImageReward 提高 2 倍至 3 倍。
text-to-visual modelscompositional text promptsvqascoreautomated evaluation metricsimage generation
发现论文，激发创造
  • 评估文本到视觉生成与图像到文本生成

    通过引入 VQAScore 和 GenAI-Bench，本研究在评估生成式人工智能方面取得了重要进展，并证明了 VQAScore 与传统评估指标相比在复杂文本生成方面的可靠性和性能优势。

    Apr, 2024

  • 划分、评估与改进：基于迭代 VQA 反馈的文本到图像对齐的评估和改进

    通过分解式对齐评估和改进文本到图像的对齐效果，并使用 Decompositional-Alignment-Score 和 VQA 模型来测量不同断言的对齐度。实验结果表明，这种对齐度指标与人类评分高度相关，并且断言级别的对齐度评分可用于逐步提高最终图像输出中不同断言的表达。人类用户研究表明，该方法在整体文本到图像对齐准确性方面超过了之前的最先进方法 8.7%。

    Jul, 2023

  • 利用分类数据集和它们的语义层次对视觉语言模型进行开放式视觉问答基准测试

    通过提出创新的评估方法并修正现有的视觉问答基准，我们的研究旨在推进我们对文本生成视觉语言模型能力的理解，提出了一种基于著名视觉分类数据集的新型视觉问答基准，可以对文本生成视觉语言模型进行细粒度评估，并与辨别性视觉语言模型进行比较。我们建议利用标签空间的语义层次结构为细粒度分类任务中的粗略答案提出自动生成的后续问题，以改善评估模型预测的传统自然语言处理和基于语言模型的度量标准。我们进行了人工评估研究，基于这项研究，我们决定采用最终的度量标准。我们将我们的基准应用于一套视觉语言模型，并详细比较了它们在对象、行为和属性分类方面的能力。我们的研究为更精确、有意义的评估奠定基础，促进了视觉语言建模领域的有针对性进展。

    Feb, 2024

  • 组合视觉推理基准测试

    该论文介绍了一个新的视觉推理基准测试，Compositional Visual Relations (CVR)，以推动更加数据高效的学习算法的开发，并发现卷积神经网络比变压器架构在大多数数据方案上表现更好，但所有计算模型都比人类更不数据高效。

    Jun, 2022

  • GQA：一个适用于真实世界视觉推理和组合问答的新数据集

    GQA 是一个旨在解决以往 VQA 数据集的缺陷问题的实际可视化推理和组成问题回答数据集，它使用场景图结构创建了 2200 万个不同的推理问题，伴随着功能程序共同表示它们的语义，其中包括新的可调平滑技术来缓解问题偏差。贯穿数据集的还有一套新的度量标准，可以评估基本的质量，例如一致性、基础和可信性。

    Feb, 2019

  • 面向野外视频质量评估的鲁棒性文本提示语义标准

    提出了一种基于文本的语义相关质量评价方法 (SAQI) 及其本地化版本 (SAQI-Local)。通过与现有低级指标结合，提出了统一盲视频质量指数 (BVQI) 及其改进版 (BVQI-Local)，并通过有效的微调方案，实现了优于普遍基于人类意见的 VQA 方法的性能和卓越的泛化能力。

    Apr, 2023

  • T2I-CompBench：面向开放世界组合式文本到图像生成的综合基准测试

    本研究提出了 T2I-CompBench，这是一个全面的开放式文本成像生成基准测试，包括 6000 个组合文本提示，分为 3 个类别和 6 个子类别，并介绍了几个特定设计的评估度量标准，以评估组合文本到图像生成的效果，并提出了新的生成模型细调和奖励驱动的样本选择（GORS）方法来提高预训练文本到图像模型的组合文本到图像生成能力。

    Jul, 2023

  • AIGCBench：AI 生成的图像到视频内容的综合评估

    人工智能生成内容（AIGC）领域迅速发展，本研究介绍了 AIGCBench，一个全面且可扩展的基准测试，旨在评估各种视频生成任务，主要集中在图像到视频（I2V）生成上。

    Jan, 2024

  • AGQA：组合式时空推理的基准测试

    本论文针对计算机视觉模型做了一个新的基准，名为 Action Genome Question Answering (AGQA)，并提供了 3.9M 个问题答案对的平衡子集，以最小化偏倚。AGQA 引入了多个训练 / 测试集来测试各种推理能力，包括新颖组合的泛化，间接引用以及更多的组合步骤。这项研究发现，最好的模型仅能比利用语言偏见的非视觉基准优秀一些；并且现有的模型都无法推广到训练中未见过的新颖组合。

    Mar, 2021

  • 大型视觉 - 语言模型中的复合推理引导

    使用一种新颖的生成方法，我们对大型视觉语言模型（如 GPT-4）进行控制，以描述图像并进行组合推理，在 Winoground 数据集上优于其他嵌入式方法，并在最佳描述的增强下获得最高 10% 的准确率改进。

    Jan, 2024