Apr, 2024

谁来评估评估？用 T2IScoreScore（TS2）客观评分文本与图像提示一致性指标

PDF
TL;DR对文本到图像模型中的提示准确性进行基准测试，比较评估了多种提示信实度度量，发现当前的视觉语言模型基于向量的度量无法在许多困难的 T2I 模型错误情况下显着优于基于特征的度量。介绍了一套语义错误图形，TS2，用于严格判断给定的提示信实度度量指标是否能够正确地对图像进行排序和区分不同的错误节点，以期通过客观的准则更严格地比较和发展更好的 T2I 期望提示信实度度量指标。
text-to-image modelsprompt faithfulnesst2i faithfulness metricsstate-of-the-art vlm-based metricst2i prompt faithfulness metrics
发现论文，激发创造
  • 文本到图像生成对齐度评估度量 TIAM

    通过针对 prompt 模板的新度量方法，本文对多种 Text-to-Image（T2I）模型的对齐性进行了研究，并发现潜在噪声和提示概念数量、顺序和属性等因素对图像生成的影响。

    Jul, 2023

  • 使用 Gecko 重新审视文本到图像评估：关于指标、提示和人类评级

    我们通过对自动评价度量和人类模板进行广泛研究，介绍了一种综合的基于技能的基准，收集了超过 100,000 个注释，并引入了一种新的基于问答的自动评价度量，以在各种人类模板和 TIFA160 上更好地与人类评分相关联。

    Apr, 2024

  • 通过自动提示优化提升文本到图像的一致性

    通过利用大型语言模型，在文本到图像的生成模型中改善提示 - 图像的一致性，我们的方法能够提高一致性得分、保持图像质量和提高生成图像与真实数据之间的相似度，为构建可靠且强大的文本到图像模型铺平了道路。

    Mar, 2024

  • 文本与图像合成对比性组合基准：统一文本与图像保真度指标的研究

    Winoground-T2I 是一个用于评估 T2I 模型组成性的基准，通过包含 11K 个复杂、高质量的对比句对来进行评估，通过比较性句对来评估各种指标的可靠性，最后提供了关于指标的优点和缺点以及当前 T2I 模型在应对复杂组成类别挑战中的能力，该基准公开提供。

    Dec, 2023

  • 走向更好的文本到视频生成度量

    本文研究现有评估指标的局限性，并引入一种新的评估方法，即 Text-to-Video Score (T2VScore)，该指标综合考虑了文本 - 视频对齐和视频质量两个关键要素。同时，我们提出了 TVGE 数据集，以评估和促进未来改进文本到视频生成的指标。在 TVGE 数据集上的实验证明了 T2VScore 的优越性，能够提供更好的评估指标。

    Jan, 2024

  • 基于隐式提示的文本到图像模型的研究

    最近的文本到图像（T2I）模型取得了巨大的成功，并提出了许多基准来评估其性能和安全性。然而，它们只考虑了显性提示而忽视了隐性提示（暗示目标而没有明确提及）。这些提示可能摆脱安全约束，并对这些模型的应用构成潜在威胁。本文强调了 T2I 模型在隐性提示方面的现状，提出了一个名为 ImplicitBench 的基准，并对隐性提示对流行的 T2I 模型的性能和影响进行了调查。具体而言，我们设计并收集了三个方面的 2,000 多个隐性提示：一般符号、名人隐私和不适宜工作（NSFW）问题，并评估了六个知名 T2I 模型在这些隐性提示下的能力。实验结果表明：（1）T2I 模型能够准确地创建由隐性提示指示的各种目标符号；（2）隐性提示给 T2I 模型带来隐私泄露的潜在风险；（3）大多数评估的 T2I 模型中的 NSFW 约束可以通过隐性提示绕过。我们呼吁 T2I 社区更加关注隐性提示的潜力和风险，并进一步调查隐性提示的能力和影响，倡导一种平衡的方法，既发挥其益处又减轻其风险。

    Mar, 2024

  • 如何使用 ViTScore 度量评估图像的语义沟通能力？

    语义通信（SC）是一个新的范式，其主要关注点从准确的比特传输转变为在通信中进行有效的语义信息交换；本研究提出了一种评估图像语义相似性的新指标 ViTScore，并通过与其他三种典型指标的比较，证明了 ViTScore 在 SC 场景中更好地评估图像的语义相似性，表明它是一种有效的性能指标。

    Sep, 2023

  • TISE: 文本到图像合成评估指标包

    本文研究了文本到图像合成的最新方法并提出了一个评估框架，针对单个或多个对象的综合进行考虑，并为当前评估流程中的一些问题提出了解决方案。最终提出了一个结合了现有和新的度量标准的评估方法，并展示了使用这些度量标准获得高度一致的排名结果。

    Dec, 2021

  • 评估文本到视觉生成与图像到文本生成

    通过引入 VQAScore 和 GenAI-Bench，本研究在评估生成式人工智能方面取得了重要进展，并证明了 VQAScore 与传统评估指标相比在复杂文本生成方面的可靠性和性能优势。

    Apr, 2024

  • 在多语言概念上进行文本到图像模型公平评估的翻译错误和挑战

    基于图像的多语言（T2I）模型能力的基准测试比较生成的图像与期望图像分布的语言特定概念集合，其中一个名为 CoCo-CroLa 的基准测试通过将概念列表翻译成七种语言并比较输出图像群体来评估 T2I 模型的有形名词库存。不幸的是，我们发现该基准测试在西班牙语、日语和中文中包含不同严重程度的翻译错误。我们提供了这些错误的更正，并分析这些错误对 CoCo-CroLa 作为基准测试的实用性和有效性的影响。我们使用相似性评分在文本领域预测了纠正对图像领域基准测试结果的影响，并重新评估了多个基准 T2I 模型的输出，将新翻译的输出与旧翻译的输出进行了比较。我们的发现将为 T2I 多语言度量的未来发展提供分析工具，以进行实际的翻译决策。

    Mar, 2024