Feb, 2024

Text2Pic Swift：大规模图书馆中增强长文本到图像检索

PDF
TL;DRText2Pic Swift 框架通过引入两阶段方法（Entity-based Ranking 和 Summary-based Re-ranking）以及 Decoupling-BEiT-3 编码器，在大规模、多样化和具有模糊查询的检索场景下实现了高效和强大的图像检索。
text-to-image retrievaltext2pic swift frameworkentity-based rankingsummary-based re-rankingdecoupling-beit-3 encoder
发现论文，激发创造
  • 释放文本的想象力：通过探索文字的力量实现文本到图像的人员检索的新框架

    提出了一种用于文本到图像人物检索的新框架，旨在充分发掘句子中的词语力量。通过使用预训练的全 CLIP 模型作为图像和文本的双编码器，以及引入文本引导的图像恢复辅助任务和针对难样本的交叉模态三元组损失，该方法在三个流行的基准数据集上取得了最先进的结果。

    Jul, 2023

  • 统一的文本到图像生成和检索

    研究中，我们提出了一个统一框架，以多模态大型语言模型（MLLMs）为背景，探索了文本到图像生成和检索之间的关系，并引入了一种生成检索方法，在无需训练的情况下进行检索。我们还构建了一个基准测试集 TIGeR-Bench 以标准化统一的文本到图像生成和检索方法的评估，并在 TIGeR-Bench 以及两个检索基准测试集 Flickr30K 和 MS-COCO 上进行了大量实验，证明了我们提出方法的优越性和效果。

    Jun, 2024

  • 轻量级文本图像检索的两阶段模型压缩：更精简、更快速

    本文提出了一种有效的两阶段框架，用于压缩大型预训练双编码器，以实现轻量级文本图片检索，其结果模型较小（原始的 39％），处理图像 / 文本的速度快（分别为 1.6x / 2.9x），在 Flickr30K 和 MSCOCO 基准测试中表现不输于原始完整模型，并且我们也开源了一个逼真的移动图像搜索应用程序。

    Apr, 2022

  • 快与慢的思考：利用 Transformer 进行高效的文本 - 图像检索

    本研究通过将视觉和文本独立地映射到联合嵌入空间中的双编码器方法和使用跨注意力的视觉文本变压器方法来进行大规模图像和视频数据集的基于语言的搜索，并将两种方法相结合，提高了检索准确性并确保了可扩展性，同时还引入了新的细粒度跨注意力架构，并通过蒸馏和重新排序结合了快速双编码器模型和缓慢但准确的变压器模型，并在 Flickr30K 图像数据集和 VATEX 视频数据集上验证了该方法。

    Mar, 2021

  • 关键词引导下的高效图像 - 文本检索预筛选

    该论文提出了一种关键词指导的预筛选框架来提高图像 - 文本检索的效率，包括关键词匹配和多标签分类方法，并借助倒排索引实现时空复杂度的双赢。经过 Flickr30K 和 MS-COCO 两个广泛使用的数据集的实验证明，该框架能够实现 $O (1)$ 的查询时间复杂度，提高检索效率，而不降低性能。

    Mar, 2023

  • 图像检索中的文本与图像构成 - 实证之旅

    本文提出了一种基于图像和文本相结合的检索方法，利用相似度度量、嵌入式学习以及组合函数对目标图像进行了描述，并在三种不同数据集上进行了验证，证明了该方法在输入查询分类和图像检索方面的有效性。

    Dec, 2018

  • 面向快速准确的图像文本检索与自监督细粒度对齐

    在这项工作中，我们在独立嵌入框架之上提出了一个图像 - 文本对齐模块 SelfAlign，通过自监督对比学习在概念级和语境级强制进行图像 - 文本对齐，提高了检索准确性同时保持了检索效率。

    Aug, 2023

  • 重新审视跨模态检索

    本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

    Jul, 2018

  • TexIm FAST: 基于 Transformers 的文本 - 图像表示用于语义相似度评估

    通过自监督变分自动编码器 (VAE) 以及转换器应用的 TexIm FAST 方法提出了一种新的文本到图像方法，可以生成固定长度的表示，消耗内存减少了 75％，有效地用于下游任务，并且在语义文本相似性方面取得了显著改进。

    Jun, 2024

  • 图像文本化：一种自动创建准确详细图像描述的框架

    通过结合现有的多模态大语言模型（MLLMs）与多个视觉专家模型，我们提出了一种名为图像文本化（IT）的创新框架，以最大程度地将视觉信息转化为文本，自动生成高质量的图像描述。我们还提出了几个综合评估基准来验证我们框架所创建的图像描述的质量，显示经过 IT 精选描述训练的 LLaVA-7B 模型在生成更丰富的图像描述方面的能力得到了提高。

    Jun, 2024