Jun, 2024

统一的文本到图像生成和检索

PDF
TL;DR研究中，我们提出了一个统一框架，以多模态大型语言模型（MLLMs）为背景，探索了文本到图像生成和检索之间的关系，并引入了一种生成检索方法，在无需训练的情况下进行检索。我们还构建了一个基准测试集 TIGeR-Bench 以标准化统一的文本到图像生成和检索方法的评估，并在 TIGeR-Bench 以及两个检索基准测试集 Flickr30K 和 MS-COCO 上进行了大量实验，证明了我们提出方法的优越性和效果。
text-to-image retrievaltext-to-image generationmultimodal large language modelsgenerative retrieval methodautoregressive generation
发现论文，激发创造
  • 释放文本的想象力：通过探索文字的力量实现文本到图像的人员检索的新框架

    提出了一种用于文本到图像人物检索的新框架，旨在充分发掘句子中的词语力量。通过使用预训练的全 CLIP 模型作为图像和文本的双编码器，以及引入文本引导的图像恢复辅助任务和针对难样本的交叉模态三元组损失，该方法在三个流行的基准数据集上取得了最先进的结果。

    Jul, 2023

  • 生成跨模态检索：以检索和超越为目的的多模态语言模型中的图像记忆

    构建在生成式语言模型基础上的多模态大型语言模型（MLLMs）拥有记忆和重新召回图像能力，介绍了一种基于生成式跨模态检索框架的方法，通过将图像存储在 MLLMs 中以实现记忆功能，并有效地进行跨模态检索。

    Feb, 2024

  • 利用大型语言模型的生成式多模态知识检索

    我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练，最后，我们提出了知识引导的生成策略，在解码步骤中施加先验约束，促进独特知识线索的生成，在三个基准测试中实验证明，与强基线方法相比，在所有评估指标上均取得了 3.0% 到 14.6% 的显著改进。

    Jan, 2024

  • 高效的令牌引导下的图像文本检索与一致多模态对比性训练

    本文提出了一种基于 Token-Guided Dual Transformer (TGDT) architecture 的图像文本检索框架，将粗粒度和细粒度表示学习结合到一个统一的框架中，并提出了一种名为同步多模态对比损失的新型训练目标，通过混合全局和本地跨模态相似性的两个阶段的推理方法，实现了与代表性最新方法相比极低的推理时间下，实现了最先进的检索表现。

    Jun, 2023

  • 通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

    本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

    Nov, 2017

  • 利用多模态语言模型生成图像

    该论文提出了一种方法，通过将文本形式的大型语言模型嵌入图像编码器和解码器模型中，利用它们的嵌入空间之间的映射来融合两者，从而实现多模态的图像检索、新颖图像生成和多模态对话，同时还能生成并处理图像和文本输入，比非基于 LLM 的模型在一些基于文本生成图像任务方面表现更好。

    May, 2023

  • 利用大型语言模型和视觉语言模型增强交互式图像检索的查询重写

    我们提出了一种互动式图像检索系统，结合了视觉语言模型和大型语言模型，通过用户反馈迭代改进查询，并利用无噪声的查询扩展提高检索准确性，在评估中获得了 10% 的召回率改善。

    Apr, 2024

  • 语言理解通用多模态表示

    本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。

    Jan, 2023

  • 基于搜索引擎图像检索的多模态神经机器翻译

    本文提出使用图像搜索引擎和文本感知的注意力视觉编码器来收集并过滤具有描述性的图像，以加强神经机器翻译的性能。在多个数据集上进行的实验证明，该方法较强的基线实现了显著的性能提升。

    Jul, 2022

  • 重新审视跨模态检索

    本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

    Jul, 2018