Nov, 2023

文本 - 图像组合检索的鲁棒性评估

PDF
TL;DR通过图文组合检索，通过由图像加上一些描述所构成的查询准确检索目标图像，在真实世界的损坏和进一步的文本理解下进行了坚固性研究，建立了三个用于系统分析的新的多样化基准，对视觉和文本的图文组合检索进行评估，包括自然失真的分析和文本理解的论证。
text-image composed retrievalrobustness studybenchmark datasetstextual understandingcorruptions
发现论文，激发创造
  • 图像检索中的文本与图像构成 - 实证之旅

    本文提出了一种基于图像和文本相结合的检索方法，利用相似度度量、嵌入式学习以及组合函数对目标图像进行了描述，并在三种不同数据集上进行了验证，证明了该方法在输入查询分类和图像检索方面的有效性。

    Dec, 2018

  • 遥感图像的组合检索

    本文介绍了一种应用于遥感的组合图像检索方法，该方法允许通过图像示例和文本描述在大型图像库中进行查询，丰富了对单模态查询（无论是视觉还是文本）的描述能力。我们介绍了一种融合了图像 - 图像和文本 - 图像相似度的新方法，证明了视觉 - 语言模型具有足够的描述能力，无需进一步的学习步骤或训练数据。我们提出了一个新的评估基准，重点关注颜色、上下文、密度、存在性、数量和形状的修改。本工作不仅在此任务中取得了最新的技术成果，同时也填补了遥感图像检索领域的空白。

    May, 2024

  • 图像检索中的图像 - 文本查询组合学习

    本文研究了基于多模态（图像 - 文本）查询的图像检索问题，提出了自编码器模型 ComposeAE，采用深度度量学习方法学习了推动源图像和文本查询组成更接近目标图像的度量，并在 MIT-States、Fashion200k 和 FashionIQ 三个基准数据集上优于当前最先进的 TIRG 方法。

    Jun, 2020

  • 零样本组合文本 - 图像检索

    本文介绍了一个新方法，通过多模态信息的融合来准确地检索符合查询的图像，并在零样本场景下，在 CIRR 和 FashionIQ 等数据集上明显优于现有的最新技术。

    Jun, 2023

  • 文本与图像合成对比性组合基准：统一文本与图像保真度指标的研究

    Winoground-T2I 是一个用于评估 T2I 模型组成性的基准，通过包含 11K 个复杂、高质量的对比句对来进行评估，通过比较性句对来评估各种指标的可靠性，最后提供了关于指标的优点和缺点以及当前 T2I 模型在应对复杂组成类别挑战中的能力，该基准公开提供。

    Dec, 2023

  • 跨模态图像 - 文本检索基准的重新思考

    本文针对图文检索中的细粒度语义匹配问题，以 MSCOCO-Test-5K 和 Flickr30K-Test-1K 数据集不足的情况为背景，提出了将其重建为 MSCOCO-FG 和 Flickr30K-FG 等数据集的方法，并通过模型评估和实验指出了模型在细粒度语义理解方面的不足之处和提升空间。

    Apr, 2023

  • 基于文本引导的鲁棒性基准测试

    本研究探讨了图像分类器对以文字为导向的失真的鲁棒性，并利用扩散模型对图像进行不同域的编辑，研究结果表明： 在不同语言为基础的失真和编辑域中，图像分类器的性能显著下降，卷积模型比变压器架构更为鲁棒，同时，常见的数据扩充技术可以提高原始数据和编辑图像的性能。

    Apr, 2023

  • T2I-CompBench：面向开放世界组合式文本到图像生成的综合基准测试

    本研究提出了 T2I-CompBench，这是一个全面的开放式文本成像生成基准测试，包括 6000 个组合文本提示，分为 3 个类别和 6 个子类别，并介绍了几个特定设计的评估度量标准，以评估组合文本到图像生成的效果，并提出了新的生成模型细调和奖励驱动的样本选择（GORS）方法来提高预训练文本到图像模型的组合文本到图像生成能力。

    Jul, 2023

  • 性能改进来自何处？—— 关于图像文本检索可重现性的担忧

    本文研究信息检索领域的图像 - 文本检索模型的可重复性问题，通过预训练和非预训练模型的消融实验证明了先前一些技术提高了检索效果，但仍需要关注影响检索召回率的因素。

    Mar, 2022

  • 使用预训练的视觉语言模型在现实生活图像上进行图像检索

    本研究提出了一个基于 Transformers 的模型 CIRPLANT，使用人类自然语言条件进行直观特征的修改，并结合最近邻方法实现图像的检索，实验结果表明该模型在开放域图像检索中具有很好的性能。

    Aug, 2021